数据压缩第九次作业：总结最小二乘法——梯度下降法、牛顿法、高斯牛顿法

任务2:总结最小二乘法——梯度下降法、牛顿法、高斯牛顿法
最小二乘法定义：
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
一、如何理解最小二乘法：
首先，最小二乘法的思想可以用一个例子来理解：
假设我们对一个大小约等于10的数据有y1,y2,y3,y4,y5这样的5个估计值（实际情况完全会更多）但是因为这些估计值他们大小并不相同，所以我们不能就很随意的取其中之一作为其测量值。
而在生活中，我们可能会采用求平均值的方法，但是实际上，直接求均值的方法不一定在任何情况下都适用，如果预测的值是确定值，可能不会收到影响，但是如果预测值是一个函数，则算数平均值的方法就不再可以实现。
所以，我们就也有了这样的做法：先对这些数据，和猜测的真实值y做差之后取绝对值再进行操作。而为了进一步简化操作，我们直接对这个差值做乘法处理，也就是得出来的值无论正负经过乘法之后就都是一个正数了。而由于，我们所取的这个y也是在不断变化的（也可以说这个也是一个变量，一个随机的变量），我们要寻求的，也就是：
找到一个合适的y，使之可以满足，y和每一个估计值的差做平方之后的加和最小，那么这个y就就是y的真值。用公式表达为：

而我们从这个公式则也就不难看出，为什么他也会叫做最小平方法（我觉得这个名称更好理解）。
从而，从这个公式，我们便可以将它进行推广，也就是推广到我们预测的不再是一个数值，而是一个函数的情况。
例如以下这个例子就很清晰的解释了这个原理：（本例子参考自“马同学高等数学的博客《如何理解最小二乘法》”）
设温度与冰淇淋的销量：

从中，我们可以看出其类似一个线性关系&#