简述最小二乘法

最小二乘法又称最小平方法，是一种数学优化方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。经常用于回归问题，可以方便的求得未知参数。（曲线拟合，最小化能量或者最大化熵等问题）

• 数学定义
  • 给定函数$f(x;{\alpha }_0,{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)$及其在N个不同点$x_1,x_2,\cdots ,x_n$的测量值$y_1,y_2,\cdots ,y_n$，即$f(x;{\alpha }_0,{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)$得值，那么确定位置参数集，可以通过使得下式最小获得(n>m时有解)
    $mi{n}_{\alpha }J(\alpha )=\frac{1}{n}{\sum }_{i=1}^n[f(x;{\alpha }_0,{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)-y_i{]}^2$
  • $f(x;{\alpha }_0,{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)={\alpha }_0+{\sum }_{j=1}^m{\alpha }_j{\phi }_j(x_j),若{\phi }_j(x_j)=x_j$，则f为线性函数
• 方程求解
  • $A\alpha =y$
  • $A^{T}A\alpha =A^{T}y$
  • $\alpha =(A^{T}A{)}^{-1}{A}^{T}y$
  • 病态矩阵：如果对数据进行较小得扰动，则得出的结果具有很大的波动。
• 梯度下降法
  • $mi{n}_{\alpha }J(\alpha )={\Vert A\alpha -y\Vert }_2^2$
  • for j in range(epochs)
    \quad for ($x_k,y_k$) in traning set
    $\alpha =\alpha -\lambda \frac{\partial J(\alpha )}{\partial \alpha }$
    \quad end
    end
  • 初始值会导致梯度下降法得到不同的局部最优解；学习率影响收敛速度，甚至是否收敛。