从推公式到写代码--聊聊最小二乘法

本专辑内容的阅读对象是有一定的高数和线性代数基础，但是缺少编程训练的人。

---

1. 前言

在这一讲中，我们来聊聊最小二乘及最小二乘方法求解方程参数问题。希望通过这一讲，能让大家了解通用参数求解方法的最小二乘是怎么工作的，如果大家有python基础，也希望大家能掌握一般方程的参数求解方法，并能依样画葫芦，解决学习工作中的数学模型参数问题。如果你没有python基础也不用担心，我们后面会有python及python科学计算的系列文章，当然，我希望大家能花一两周时间学一下python，如果你有MATLAB基础那么用不了两天就能掌握。这里给大家推荐廖雪峰的博客，少有的高质量python教程博客，通过各种比喻和图解方法将复杂的编程原理简洁表示出来，文科生也能看懂高深的计算机原理，相信你也能很快掌握。

2. 什么是最小二乘

什么是最小二乘，可以参考知乎问答：最小二乘法的本质是什么？

它的主要思想就是找到一组参数，使得理论值与观测值之差的平方和达到最小：

$$({w^*},{b^*}) = argminE = \sum\limits_{i = 1}^m {{{(f({x_i}) - {y_i})}^2}}$$

3. 最小二乘是怎么求解参数的，以多元线性回归为例

下面我们以多元线性回归为例子，讲解最小二乘法求解进行回归的参数，需要说明的是，多元线性回归求解方法有很多，比如矩阵方法等，最小二乘的思想只是其中的一种。

前面说到，最小二乘的思想是误差最小化，还记得怎么求最小值吗？高数里面的求导啊，我们对误差函数求导，令梯度为零即可。

∂E(w,b)∂