误差理论与数据处理（五）

最新推荐文章于 2022-11-02 18:36:02 发布

ceoicinwai

最新推荐文章于 2022-11-02 18:36:02 发布

阅读量1k

点赞数 3

分类专栏：误差理论与数据处理文章标签：概率论算法经验分享

本文链接：https://blog.csdn.net/ceoicinwai/article/details/105578132

版权

误差理论与数据处理专栏收录该内容

2 篇文章 2 订阅

订阅专栏

文章目录

第五章线性参数的最小二乘法

第五章线性参数的最小二乘法

第一节最小二乘原理

为了能够在后续推导中能够深刻理解最小二乘的原理，在开始前先用人话讲一下使用最小二乘法的目的并借用图形来帮助理解。

人话：用测量到的数据拟合出一条线，使这条线上的数据与测量到的数据误差的总和最小。

工程中我们测量到数据,
ALT 为了得到变化规律，我们需要通过线性回归（通过已有数据拟合出一条线), ALT 而现在要开始学习的最小二乘法就是一种用来确定线性回归的方法。

原理推导

现在要确定 $t$ 个不可直接测量的未知量 $X_1,X_2,\cdots,X_t$ （真值）的估计值 $x_1,x_2,\cdots,x_t$ ，只能通过测量与t个未知量有函数关系的 $Y=f(X_1,X_2,\cdots,X_t)$ 进行n次测量得到测量数据 $l_1,l_2,\cdots,l_n$ ，并且有如下关系,
$\left. \begin{aligned} Y_1&=&f_1(X_1,X_2,...X_t)\\ Y_2&=&f_2(X_1,X_2,...X_t)\\ &\cdots&\\ Y_n&=&f_n(X_1,X_2,...X_t)\\ \end{aligned} \right\}\tag{5.1}$ 这个时候如果n=t，就可以直接求得未知量。但是由于测量数据不可避免的存在测量误差，所求得的 $x_1,x_2,\cdots,x_t$ 也必定包含一定的误差。为了提高所得结果的精度，应该适当的增加测量次数n,以便利用抵偿性（正态分布特性）减少随机误差的影响。故一般n>t,但此时就不能直接用上面这个方程组求解 $x_1,x_2,\cdots,x_t$ 。所以问题来了怎么从测量数据 $l_1,l_2,\cdots,l_n$ 得到可信赖的结果 $x_1,x_2,\cdots,x_t$ ？最小二乘法的原理指出，最可信赖的值应在使残余误差平方平方和最小的条件下获得。(tip:最小二乘法的名字就是这么来的，二乘就是平方的意思）
设直接量 $Y_1,Y_2,\cdots,Y_n$ 的估计量分别为 $y_1,y_2,\cdots,y_n$ ,则有如下关系
$\left. \begin{aligned} y_1&=&f_1(x_1,x_2,...x_t)\\ y_2&=&f_2(x_1,x_2,...x_t)\\ &\cdots&\\ y_n&=&f_n(x_1,x_2,...x_t)\\ \end{aligned} \right\}\tag{5.2}$ 而测量数据 $l_1,l_2,\cdots,l_n$ 的残余误差应为
$\left. \begin{aligned} v_1&=&l_1-y_1\\ v_2&=&l_2-y_2\\ &\cdots&\\ v_n&=&l_n-y_n\\ \end{aligned} \right\}\tag{5.3}$ 即
$\left. \begin{aligned} v_1&=&l_1-f_1(x_1,x_2,...x_t)\\ v_2&=&l_2-f_2(x_1,x_2,...x_t)\\ &\cdots&\\ v_n&=&l_n-f_n(x_1,x_2,...x_t)\\ \end{aligned} \right\}\tag{5.4}$ 以上两式都称为残余误差方程式。
若测量数据 $l_1,l_2,\cdots,l_n$ 是无偏的（即排除了测量的系统误差），相互独立，且服从正态分布，并设其标准差分别为 $\sigma_1,\sigma_2,\cdots,\sigma_n$ ,则测量结果 $l_1,l_2,\cdots,l_n$ 出现于相应真值附近 $d\delta_1,d\delta_2,\cdots,d\delta_n$ 区域内的概率分别为
$\begin{aligned} P_1&=&\frac{1}{\sigma_1\sqrt{2\pi}}e^{-\delta^2_1/(2\sigma^2_1)}d\delta_1\\ P_2&=&\frac{1}{\sigma_2\sqrt{2\pi}}e^{-\delta^2_2/(2\sigma^2_2)}d\delta_2\\ &\cdots&\\ P_n&=&\frac{1}{\sigma_n\sqrt{2\pi}}e^{-\delta^2_n/(2\sigma^2_n)}d\delta_n\\ \end{aligned}$ 由概率乘法定理可知，各测量数据同时出现在相应区域 $d\delta_1,d\delta_2,...,d\delta_n$ 的概率应为
$\begin{aligned} P & = P_1P_2\cdots P_n\\ & = \frac{1}{\sigma_{1} \sigma_{2} \cdots \sigma_{n}(\sqrt{2 \pi})^{n}} \mathrm{e}^{-\left(\delta_{1}^{2} / \sigma_{1}^{2}+\delta_{2}^{2} / \sigma_{2}^{2}+\cdots+\delta_{n}^{2} / \sigma_{n}^{2}\right) / 2} \mathrm{d} \delta_{1} \mathrm{d} \delta_{2} \cdots \mathrm{d} \delta_{n}\\ \end{aligned}$ 根据最大或然定理，由于事实上测量值 $l_1,l_2,\cdots,l_n$ 已经出现，因而有理由认为n个测量数据同时出现在相应区域 $d\delta_1,d\delta_2,\cdots,d\delta_n$ 的概率 $P$ 应为最大，即待求量的最可信赖值已经确定，应使 $l_1,l_2,\cdots,l_n$ 同时出现的概率 $P$ 为最大。由上 $P$ 的等式易得，要使 $P$ 最大，应满足
$\frac{\delta_{1}^{2}}{\sigma_{1}^{2}}+\frac{\delta_{2}^{2}}{\sigma_{2}^{2}}+\cdots+\frac{\delta_{n}^{2}}{\sigma_{n}^{2}}=最小$ 但是 $\delta=l-Y$ 我们实际上是得不到的，所以我们只能用真值的估计值 $y$ 来代替真值 $Y$ ，那么 $v = l - y$ ,所以上式转化为
$\frac{v_{1}^{2}}{\sigma_{1}^{2}}+\frac{v_{2}^{2}}{\sigma_{2}^{2}}+\cdots+\frac{v_{n}^{2}}{\sigma_{n}^{2}}=最小$ $\sigma_1,\sigma_,\cdots,\sigma_n$ 分别是 $l_1,l_2,\cdots,l_n$ 的精度，那么事实上 $\frac{1}{\sigma^2_1},\frac{1}{\sigma^2_2},\cdots,\frac{1}{\sigma^2_n}$ 分别是 $l_1,l_2,\cdots,l_n$ 的权，这里引入权的符号 $p$ 则有
$p_{1} v_{1}^{2}+p_{2} v_{2}^{2}+\cdots+p_{n} v_{n}^{2}=\sum_{i=1}^{n} p_{i} v_{i}^{2}=最小\tag{5.5}$ 如果是在等精度测量中，则有权相等，式（5.5）则可简化为 $v_{1}^{2}+v_{2}^{2}+\cdots+v_{n}^{2}=\sum_{i=1}^{n} v_{i}^{2}=最小\tag{5.6}$ 式（5.6）表明，测量结果的最可信赖值应在残余误差平方和（在不等精度测量的情形中要加权）为最小的体哦啊剑侠求出，这就是最小二乘法原理。
实质上，按最小二乘条件给出最终结果能充分地利用误差的抵偿作用，可以有效地减小随机误差的影响，因而所得结果具有最可信赖性。
矩阵形式计算过程是类似的，有兴趣可以自己推到下。

推导总结

	线性参数的等精度测量	线性参数的不等精度测量
最小二乘条件公式	$v_{1}^{2}+v_{2}^{2}+\cdots+v_{n}^{2}=\sum_{i=1}^{n} v_{i}^{2}=最小$	$p_{1} v_{1}^{2}+p_{2} v_{2}^{2}+\cdots+p_{n} v_{n}^{2}=\sum_{i=1}^{n} p_{i} v_{i}^{2}=最小$
残差方程式	$\left.\begin{aligned}v_1&=&l_1-(a_{11}x_1+a_{12}x_2+...+a_{1t}x_t)\\v_2&=&l_2-(a_{21}x_1+a_{22}x_2+...+a_{2t}x_t)\\&\cdots&\\v_n&=&l_n-(a_{n1}x_1+a_{n2}x_2+...+a_{nt}x_t)\\\end{aligned}\right\}$	$\left.\begin{aligned}v_1&=&l_1-(a_{11}x_1+a_{12}x_2+...+a_{1t}x_t)\\v_2&=&l_2-(a_{21}x_1+a_{22}x_2+...+a_{2t}x_t)\\&\cdots&\\v_n&=&l_n-(a_{n1}x_1+a_{n2}x_2+...+a_{nt}x_t)\\\end{aligned}\right\}$

表中 $v_n=l_n-y_n$ 是残差， $l_n$ 是测量得到的量， $p_n=\frac{1}{\sigma^2_n}$ 是 $l_n$ 的权重， $a_{nt}$ 是第 $n$ 个方程的第 $t$ 个未知数的系数。

第二节正规方程

在上一节最小二乘原理的推导中后，得到了推导总结中的表格，但是表格中的数学公式还是一个半成品，并不能在实际中帮我们解决问题，所以要将其中的最小二乘条件公式和残差方程式相结合来构成一个能够求解未知参数的方程，即正规方程。

等精度测量线性参数最小二乘法处理的正规方程推导

线性参数的误差方程为
$\left.\begin{aligned}v_1&=&l_1-(a_{11}x_1+a_{12}x_2+...+a_{1t}x_t)\\v_2&=&l_2-(a_{21}x_1+a_{22}x_2+...+a_{2t}x_t)\\&\cdots&\\v_n&=&l_n-(a_{n1}x_1+a_{n2}x_2+...+a_{nt}x_t)\\\end{aligned}\right\}$ 在等精度测量中，应满足最小二乘条件式 $v_{1}^{2}+v_{2}^{2}+\cdots+v_{n}^{2}=\sum_{i=1}^{n} v_{i}^{2}=最小$ 要求上式的估计量 $x_1,x_2,\cdots,x_t$ ,可利用求极值的方法来满足上式的条件。为此。对残余误差的平方和 $\sum\limits_{i=1}^{n} v_i^2$ 求导数，并令其为零，有
$\begin{aligned} \frac{\partial\left(\sum\limits_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{1}} &=-2 a_{11}\left\{l_{1}-\left(a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 i} x_{i}\right)\right\}-\\ & 2 a_{21}\left\{l_{2}-\left(a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{22} x_{i}\right) |-\right.\\ & \cdots-2 a_{n 1}\left\{l_{n}-\left(a_{n 1} x_{1}+a_{n 2} x_{2}+\cdots+a_{n} x_{i}\right)\right\}=0 \end{aligned}$ 因为
$\begin{aligned} &\sum_{i=1}^{n} a_{i 1} a_{i 1}=a_{11} a_{11}+a_{21} a_{21}+\cdots+a_{n 1} a_{n 1}\\ &\sum_{i=1}^{n} a_{i 1} a_{i 2}=a_{11} a_{12}+a_{21} a_{22}+\cdots+a_{n 1} a_{n 2}\\ &\cdots\\ &\sum_{i=1}^{n} a_{i 1} a_{i t}=a_{11} a_{1t}+a_{21} a_{2t}+\cdots+a_{n 1} a_{n t}\\ &\sum_{i=1}^{n} a_{i 1} l_{i}=a_{11} l_{1}+a_{21} l_{2}+\cdots+a_{n 1} l_{n}\\ \end{aligned}$ 所以
$\begin{aligned} \frac{\partial\left(\sum_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{1}} &=-2\left\{\sum_{i=1}^{n} a_{i 1} l_{i}-\left(x_{1} \sum_{i=1}^{n} a_{i 1} a_{i 1}+x_{2} \sum_{i=1}^{n} a_{i 1} a_{i 2}+\cdots+x_{i} \sum_{i=1}^{n} a_{i 1} a_{i i}\right)\right\} \\ &=0 \\ \end{aligned}$ 同理可得
$\begin{aligned} \frac{\partial\left(\sum_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{2}} &=-2\left\{\sum_{i=1}^{n} a_{i 2} l_{i}-\left(x_{1} \sum_{i=1}^{n} a_{i 2} a_{i 1}+x_{2} \sum_{i=1}^{n} a_{i 2} a_{i 2}+\cdots+x_{i} \sum_{i=1}^{n} a_{i 2} a_{i i}\right)\right\} \\ &=0 \\ &\\ &\cdots\\ &\\ \frac{\partial\left(\sum_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{i}} &=-2\left\{\sum_{i=1}^{n} a_{i i} l_{i}-\left(x_{1} \sum_{i=1}^{n} a_{i i} a_{i 1}+x_{2} \sum_{i=1}^{n} a_{i i} a_{22}+\cdots+x_{i} \sum_{i=1}^{n} a_{i i} a_{i i}\right)\right\} \\ &=0 \end{aligned}$ 注意到上式中各二阶偏导数恒正，即
$\frac{\partial^{2}\left(\sum\limits_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{1}^{2}}=2 \sum_{i=1}^{n} a_{i 1} a_{i 1}>0$ $\frac{\partial^{2}\left(\sum\limits_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{2}^{2}}=2 \sum_{i=1}^{n} a_{i 2} a_{i 2}>0$ $\cdots$ $\frac{\partial^{2}\left(\sum\limits_{i=1}^{n} v_{i}^{2}\right)}{\partial x_{i}^{2}}=2 \sum_{i=1}^{n} a_{i t} a_{i t}>0$ 由此可知上面各方程求得的极值是最小值,满足最小二乘条件，因而也是所要求的估计值，最后把他写成
$\left.\begin{array}{rl}\begin{aligned} &\sum_{i=1}^{n} a_{i 1} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i 1} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} a_{i 1} a_{i t} x_{i} =\sum_{i=1}^{n} a_{i 1} l_{i} \\ &\sum_{i=1}^{n} a_{i 2} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i 2} a_{i 2} x_{2}+\cdots+ \sum_{i=1}^{n} a_{i 2} a_{i t} x_{i}=\sum_{i=1}^{n} a_{i 2} l_{i} \\ &\cdots\\ &\sum_{i=1}^{n} a_{i t} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i t} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} a_{i t} a_{i t} x_{i}=\sum_{i=1}^{n} a_{i t} l_{i} \end{aligned}\end{array}\right\}\tag{5.7}$ 有些教材上也写为
$\left.\begin{array}{rl}\begin{aligned} &[a_{1} a_{1}] x_{1}+[a_{1} a_{2} ]x_{2}+\cdots+[ a_{1} a_{t} ]x_{i} &=[a_{1} l ]\\ &[a_{2} a_{1}] x_{1}+[a_{2} a_{2} ]x_{2}+\cdots+[ a_{2} a_{t} ]x_{i} &=[a_{2} l ]\\ &\cdots\\ &[a_{t} a_{1}] x_{1}+[a_{t} a_{2} ]x_{2}+\cdots+[ a_{t} a_{t} ]x_{i} &=[a_{t} l ] \end{aligned}\end{array}\right\}\tag{5.8}$ 上两式即为等精度测量的线性参数的最小二乘法处理的正规方程。这是一个 $t$ 元线性方程组，当其系数行列式不为零时，有唯一确定的解，由此可得欲求的估计量。

不等精度测量线性参数最小二乘法处理的正规方程推导

不等精度测量线性参数最小二乘法处理的正规方程推导与等精度测量线性参数最小二乘法处理的正规方程推导原理相同，这里就不再重复，最后得到的正规方程为
$\left.\begin{array}{rl}\begin{aligned} &\sum_{i=1}^{n} p_ia_{i 1} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i 1} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} p_ia_{i 1} a_{i t} x_{i} =\sum_{i=1}^{n} p_ia_{i 1} l_{i} \\ &\sum_{i=1}^{n} p_ia_{i 2} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i 2} a_{i 2} x_{2}+\cdots+ \sum_{i=1}^{n} p_ia_{i 2} a_{i t} x_{i}=\sum_{i=1}^{n} p_ia_{i 2} l_{i} \\ &\cdots\\ &\sum_{i=1}^{n} p_ia_{i t} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i t} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n}p_i a_{i t} a_{i t} x_{i}=\sum_{i=1}^{n} p_ia_{i t} l_{i} \end{aligned}\end{array}\right\}\tag{5.9}$

推导总结

	线性参数的等精度测量	线性参数的不等精度测量
最小二乘条件公式	$v_{1}^{2}+v_{2}^{2}+\cdots+v_{n}^{2}=\sum_{i=1}^{n} v_{i}^{2}=最小$	$p_{1} v_{1}^{2}+p_{2} v_{2}^{2}+\cdots+p_{n} v_{n}^{2}=\sum_{i=1}^{n} p_{i} v_{i}^{2}=最小$
残差方程式	$\left.\begin{aligned}v_1&=&l_1-(a_{11}x_1+a_{12}x_2+...+a_{1t}x_t)\\v_2&=&l_2-(a_{21}x_1+a_{22}x_2+...+a_{2t}x_t)\\&\cdots&\\v_n&=&l_n-(a_{n1}x_1+a_{n2}x_2+...+a_{nt}x_t)\\\end{aligned}\right\}$	$\left.\begin{aligned}v_1&=&l_1-(a_{11}x_1+a_{12}x_2+...+a_{1t}x_t)\\v_2&=&l_2-(a_{21}x_1+a_{22}x_2+...+a_{2t}x_t)\\&\cdots&\\v_n&=&l_n-(a_{n1}x_1+a_{n2}x_2+...+a_{nt}x_t)\\\end{aligned}\right\}$
正规方程	$\left.\begin{array}{rl}\begin{aligned}&\sum_{i=1}^{n} a_{i 1} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i 1} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} a_{i 1} a_{i t} x_{i}=\sum_{i=1}^{n} a_{i 1} l_{i} \\&\sum_{i=1}^{n} a_{i 2} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i 2} a_{i 2} x_{2}+\cdots+ \sum_{i=1}^{n} a_{i 2} a_{i t} x_{i}=\sum_{i=1}^{n} a_{i 2} l_{i} \\&\cdots\\&\sum_{i=1}^{n} a_{i t} a_{i 1} x_{1}+\sum_{i=1}^{n} a_{i t} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} a_{i t} a_{it} x_{i}=\sum_{i=1}^{n} a_{i t} l_{i}\end{aligned}\end{array}\right\}$	$\left.\begin{array}{rl}\begin{aligned}&\sum_{i=1}^{n} p_ia_{i 1} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i 1} a_{i 2} x_{2}+\cdots+\sum_{i=1}^{n} p_ia_{i 1} a_{i t} x_{i} =\sum_{i=1}^{n} p_ia_{i 1} l_{i} \\&\sum_{i=1}^{n} p_ia_{i 2} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i 2} a_{i 2}x_{2}+\cdots+\sum_{i=1}^{n} p_ia_{i 2} a_{i t} x_{i}=\sum_{i=1}^{n} p_ia_{i 2} l_{i} \\&\cdots\\&\sum_{i=1}^{n} p_ia_{i t} a_{i 1} x_{1}+\sum_{i=1}^{n} p_ia_{i t} a_{i 2}x_{2}+\cdots+\sum_{i=1}^{n}p_i a_{i t} a_{i t} x_{i}=\sum_{i=1}^{n} p_ia_{i t}l_{i}\end{aligned}\end{array}\right\}$

习题

【例5-1】已知误差方程为
$v_1=10.013-x_1　　　v_3=10.002-x_3　　　v_5=0.008-(x_1-x_3)$ $v_2=10.010-x_2　　　v_4=0.004-(x_1-x_2)　　　v_6=0.006-(x_2-x_3)$ 试给出 $x_1，x_2，x_3$ 的最小二乘法处理
解：
列误差方程
$\begin{aligned}&v_1=10.013-x_1\\&v_2=10.010-x_2\\&v_3=10.002-x_3\\&v_4=0.004-(x_1-x_2)\\&v_5=0.008-(x_1-x_3)\\&v_6=0.006-(x_2-x_3)\\\end{aligned}$
为了方便后续计算，列表

i	$a_{i1}$	$a_{i2}$	$a_{i3}$	$a_{i1}^2$	$a_{i2}^2$	$a_{i3}^2$	$a_{i1}a_{i2}$	$a_{i1}a_{i3}$	$a_{i2}a_{i3}$	$l_i$	$a_{i1}l_i$	$a_{i2}l_i$	$a_{i3}l_i$
1	1	0	0	1	0	0	0	0	0	10.013	10.013	0	0
2	0	1	0	0	1	0	0	0	0	10.010	0	10.010	0
3	0	0	1	0	0	1	0	0	0	10.002	0	0	10.002
4	1	-1	0	1	1	0	-1	0	0	0.004	0.004	-0.004	0
5	1	0	-1	1	0	1	0	-1	0	0.008	0.008	0	-0.008
6	0	1	-1	0	1	1	0	0	-1	0.006	0	0.006	-0.006

列正规方程
$\begin{aligned} [a_1a_1]x_1+[a_1a_2]x_2+[a_1a_3]x_3&=[a_1l]\\ [a_2a_1]x_1+[a_2a_2]x_2+[a_2a_3]x_3&=[a_2l]\\ [a_3a_1]x_1+[a_3a_2]x_2+[a_3a_3]x_3&=[a_3l]\\ \end{aligned}$
带入数据
$\begin{aligned} 3x_1-x_2+-x_3&=10.025\\ -x_1+3x_2+-x_3&=10.012\\ -x_1+-x_2+3x_3&=9.988\\ \end{aligned}$
解方程
$\begin{aligned} &x_1≈10.013\\ &x_2≈10.009\\ &x_3≈10.003 \end{aligned}$