【系统辨识】最小二乘估计

---

前言

最小二乘法是一种常用的数学方法，用于解决数据拟合问题。在数据拟合问题中，我们需要找到一条曲线或者一个平面来拟合给定的数据。最小二乘法的主要思想是寻找一个拟合函数，使得该函数与所有观测值之间的差的平方和最小。最小二乘法的背景可以追溯到18世纪欧洲的天文学家和数学家吕格朗日，他首次利用最小二乘法求解天体轨迹问题。此后，最小二乘法被广泛应用于数据拟合、统计分析、信号处理、图像处理等领域，并成为现代数学和应用数学中不可或缺的工具。

最小二乘原理是指在数学上寻找误差平方和最小的解决方案，即将所有观测值与拟合值之间的差的平方和最小化。这个原理在统计学中被广泛应用，用于确定回归模型中的系数。

最小二乘估计是根据最小二乘原理，通过具体的计算方法来求解回归模型中的系数，是一种常用的参数估计方法。最小二乘估计可以用于线性回归、多项式回归、非线性回归等各种回归模型的参数估计。它可以通过求解矩阵方程或者最小化目标函数的方法来得到系数的估计值。因此，最小二乘估计是通过具体的计算方法来实现最小二乘原理的应用。

本文由最小二乘原理引入到最小二乘估计

一、最小二乘原理

1.一维例子

假设测量某个物体的长度，$n$个人测得的长度分别为$x_1,x_2,...x_n$,然后通过这$n$个数据得到该物体最接近真实值的长度，可以按照统计学原理，定义误差平方和：
$$f(x)=(x_1-x{)}^2+(x_2-x{)}^2+...+(x_n-x{)}^2.$$为了使其误差平方和最小，及求$f(x)$的最小值，令$f(x)$的导数为零，得到 $$f^{\prime }(x)=-2(x_1-x)-2(x_2-x)-...-2(x_n-x)=0.$$求解可以得到$$x=\frac{x_1+x_2+...+x_n}{n}=\bar{x}.$$由于$f^{\prime \prime }(x)=2n>0$,可知$f(\bar{x})$是误差函数$f(x)$的最小值。这就是最小二乘的基本原理。

2.二维例子

现有$n$个点$（x_1,y_1),(x_2,y_2),...,(x_n,y_n)$很接近某条直线。假设这条待定的直线为$y=kx+b.$
点$（x_1,y_1),(x_2,y_2),...,(x_n,y_n)$不可能都满足$y=kx+b$,因此，目标是估计参数$a,b$，使得每个点到该直线的距离和为最小值，由于点到直线的距离公式计算复杂，在这里采用点到直线的纵坐标差$\epsilon$，方便计算。
$${\epsilon }_j=y_j-k{x}_j-b$$
目标函数为
$$J_1(k,b)=\sum _{j=1}^n{\epsilon }_j^2=(y_1-k{x}_1-b{)}^2+(y_2-k{x}_2-b{)}^2+...+(y_n-k{x}_n-b{)}^2$$
现在要使目标函数$J_1(k,b)$最小，这就构成了最小二乘拟合问题。
分别对$k$和$b$求偏导，并令其为零得到
$$\begin{array}{rl}\frac{\partial J_1(k,b)}{\partial k}& =-2x_1(y_1-k{x}_1-b)-2x_2(y_2-k{x}_2-b)-...-2x_n(y_n-k{x}_n-b)=0,\\ \frac{\partial J_1(k,b)}{\partial b}& =-2(y_1-k{x}_1-b)-2(y_2-k{x}_2-b)-...-2(y_n-k{x}_n-b)=0.\end{array}$$或
$$\begin{array}{rl}(\sum _{j=1}^n{x}_j^2)k+(\sum _{j=1}^n{x}_j)b& =\sum _{j=1}^n{x}_j{y}_j,\\ (\sum _{j=1}^n{x}_j)k+nb& =\sum _{j=1}^n{y}_j.\end{array}$$因此求得的参数拟合值为
$$\left[\begin{array}{c}k\\ b\end{array}\right]={\left[\begin{array}{cc}{\sum }_{j=1}^n{x}_j^2& {\sum }_{j=1}^n{x}_j\\ {\sum }_{j=1}^n{x}_j& n\end{array}\right]}^{-1}\left[\begin{array}{c}{\sum }_{j=1}^n{x}_j{y}_j\\ {\sum }_{j=1}^n{y}_j\end{array}\right].$$

3.最小二乘估计

为了处理高维（大于两个未知参数）线性拟合问题，定义由观测数据构成的信息向量${\phi }_j$和拟合模型的参数向量$\theta$如下，
$${\phi }_j=\left[\begin{array}{c}{x}_j\\ 1\end{array}\right],\theta =\left[\begin{array}{c}k\\ b\end{array}\right]$$可以得到
$$y_j=k{x}_j+b+{\epsilon }_j=\left[\begin{array}{cc}{x}_j& 1\end{array}\right]\left[\begin{array}{c}k\\ b\end{array}\right]+{\epsilon }_j={{\phi }_j}^T\theta +{\epsilon }_j.$$上式称为线性回归模型，在系统辨识中称为辨识模型，也是最小二乘格式。偏差${\epsilon }_i$称为噪声或随机干扰。
下面求解向量形式的目标函数，将$J_1(k,b)$写为向量形式$J_2(\theta )$，可得到$$J_2(\theta )=\sum _{j=1}^n{\epsilon }_j^2=\sum _{j=1}^n(y_j-{{\phi }_j}^T\theta {)}^2$$
对$\theta$求偏导并令其为零可得$$\frac{\partial J_2(\theta )}{\partial \theta }=-2\sum _{j=1}^n{\phi }_j(y_j-{{\phi }_j}^T\theta )=0$$
则$$\sum _{j=1}^n{\phi }_j{y}_j-(\sum _{j=1}^n{\phi }_j{{\phi }_j}^T)\theta =0$$
故$\theta$的最小二乘估计为$$\hat{\theta }=(\sum _{j=1}^n{\phi }_j{{\phi }_j}^T{)}^{-1}\sum _{j=1}^n{\phi }_j{y}_j.$$
现在定义
$$Y_n=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]\in R^n,H_n=\left[\begin{array}{c}{{\phi }_1}^T\\ {{\phi }_2}^T\\ ...\\ {{\phi }_n}^T\end{array}\right]\in R^{2n}，{\epsilon }_i=\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ...\\ {\epsilon }_n\end{array}\right]\in R^n.$$由于$$\begin{gathered} {H_n}^T{H}_n=\left[\begin{array}{cccc}{\phi }_1& {\phi }_2& ...& {\phi }_n\end{array}\right]\left[\begin{array}{c}{{\phi }_1}^T\\ {{\phi }_2}^T\\ ...\\ {{\phi }_n}^T\end{array}\right]=\sum _{j=1}^n{\phi }_j{{\phi }_j}^T, \\ {H_n}^T{Y}_n=\left[\begin{array}{cccc}{\phi }_1& {\phi }_2& ...& {\phi }_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]=\sum _{j=1}^n{\phi }_j{y}_j, \end{gathered}$$所以最小二乘估计最终可以写为
$$\hat{\theta }=(\sum _{j=1}^n{\phi }_j{{\phi }_j}^T{)}^{-1}\sum _{j=1}^n{\phi }_j{y}_j=({H_n}^T{H}_n{)}^{-1}{H_n}^T{Y}_n=\hat{\theta }(n)$$

---

参考文献

丁锋.系统辨识新论[M].北京:科学出版社,2013:199.