总结最小二乘法，梯度下降法，牛顿法和高斯牛顿法

一.作业推导

二.最小二乘法

最小二乘法指通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

线性最小二乘法满足以下基本公式：
考虑超定方程组（超定指方程个数大于未知量个数）：

其中m代表有m个等式，n代表有 n 个未知数β，m>n ；将其进行向量化后为：
Xβ=y

该方程组一般而言没有解，为了选取最合适的β让该等式"尽量成立"，这里引入残差平方和函数S