机器学习训练算法四(最小二乘问题)

1、定义

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

2、原理

设：$(t_i,y_i)$是一组观测值，其中$t_i=[t{1}_i,t{2}_i,\cdots ,t{n}_i,{]}^T\in R^n,y_i\in R$，待定参数$x=[x1,x2,\cdots ,xa,{]}^T\in R^a$, 满足以下理论函数：
$$y=f(x,t)(公式7)$$
为了拟合函数$f$，对于采集的$m$组数据（通常$m>n$）观测值，定义残差函数$L_i$和目标函数$F$分别如下($i=1,2,\cdots ,m$)：
$$\begin{array}{c}{L}_i(x)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}f(x,t_i)-y_i(公式8)\end{array}$$
$$\begin{array}{c}L(x)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\left[\begin{array}{c}{L}_1(x)\\ L_2(x)\\ ⋮\\ L_m(x)\end{array}\right]\end{array}(公式9)$$
$$\begin{array}{c}F(x)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\frac{1}{2}\sum _{i=1}^m{L}_i^2(x)\end{array}(公式10)$$
最终，通过寻找目标函数$F$的最小值,从而确定函数$f$的参数$x$的最优值。统称求解的这类问题为最小二乘问题。对于无约束的最优化问题，最小二乘法的一般形式如下：
$$\underset{x}{\min }(\frac{1}{2}{\Vert \begin{array}{c}L\end{array}\Vert }^2)(公式11)$$
$$\underset{x}{\min }(\frac{1}{2}{L}^{T}L)(公式12)$$

$$\underset{x}{\min }(\frac{1}{2}\sum _{i=1}^m{L}_i^2(x))(公式13)$$

$$\underset{x}{\min }F(x)＝\frac{1}{2}{\Vert \begin{array}{c}L(x)\end{array}\Vert }^2(公式14)$$
通过调整形如公式11、公式12、公式13、公式14 的参数$x$的值，使得它们的目标函数$F$的值趋近于最小值(不一定为 0)的流程如下所示。