机器学习中的优化算法

1. 最小二乘法

   1. 最小二乘法的介绍

最小二乘法（generalized least squares）是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现"最小二乘法"，但因不为时人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

1. 最小二乘法实例

某次实验得到了四个数据点 ：、、、（图中红色的点）。

我们希望找出一条和这四个点最匹配的直线 ，即找出在某种"最佳情况"下能够大致符合如下超定线性方程组的  和 ：

最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：

最小值可以通过对  分别求  和  的偏导数，然后使它们等于零得到。

如此就得到了一个只有两个未知数的方程组，很容易就可以解出：

也就是说直线  是最佳的。

1. 最小二乘法的理论推导

1. 设拟合多项式为：

   

2. 各点到这条曲线的距离之和，即偏差平方和如下：

   

3. 为了求得符合条件的值，对等式右边求偏导数，因而我们得到了：

   

4. 将等式进行一下化简，然后应该可以得到下面的等式：

   

5. 把这些等式表示成矩阵的形式，就可以得到下面的矩阵：

   

6. 将这个矩阵化简后可得到:

   

   由此得出：

   

7. 也就是说，那么，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。

   1. 梯度下降法