数据压缩作业五：矩阵推算和总结最小二乘

一、矩阵推算

二、总结最小二乘

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

1.梯度下降法

一元：

二元：

输入空间是xy平面，函数是平面上方的曲面；
此时需要考虑的不是函数的斜率二是在输入空间沿着什么方向走，才能让输出结果下降最快。
函数的梯度指出了函数的最陡增长方向，即按梯度方向走，函数增长最快，按梯度的负方向走，函数值降低最快。
所以让函数值最小的算法：计算梯度——按梯度反方向走——循环
输入多个：

存在问题：
函数可能有多个局部极小值点。
梯度下降法遇到了鞍点，认为已经找到了极值点，从而终止迭代过程。

2.牛顿法

一维牛顿法

步骤：

缺点：
计算量大
不能保证目标函数值下降
不能保证收敛

3.高斯牛顿法

高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。
预备知识：
推算：


高斯牛顿迭代法具有收敛快，精确度高的优点，同样具有计算量大的缺点。