最小二乘法小结

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。

1.最小二乘法的原理与要解决的问题　

　　　　最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：

目标函数=∑（观测值−理论值）2目标函数=∑（观测值−理论值）2

　　　　观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：

　　　　(𝑥(1),𝑦(1)),(𝑥(2),𝑦(2),...(𝑥(𝑚),𝑦(𝑚))(x(1),y(1)),(x(2),y(2),...(x(m),y(m))

　　　　样本采用下面的拟合函数：

　　　　ℎ𝜃(𝑥)=𝜃0+𝜃1𝑥hθ(x)=θ0+θ1x

　　　　这样我们的样本有一个特征x，对应的拟合函数有两个参数𝜃0和𝜃1θ0和θ1需要求出。

　　　　我们的目标函数为：

　　　　𝐽(𝜃0,𝜃1)=∑𝑖=1𝑚(𝑦(𝑖)−ℎ𝜃(𝑥(𝑖))2=∑𝑖=1𝑚(𝑦(𝑖)−𝜃0−𝜃1𝑥(𝑖))2J(θ0,θ1)=∑i=1m(y(i)−hθ(x(i))2=∑i=1m(y(i)−θ0−θ1x(i))2　

　　　　用最小二乘法做什么呢，使𝐽(𝜃0,𝜃1)J(θ0,θ1)最小，求出使𝐽(𝜃0,𝜃1)J(θ0,θ1)最小时的𝜃0和𝜃1θ0和θ1，这样拟合函数就得出了。

　　　　那么，最小二乘法怎么才能使𝐽(𝜃0,𝜃1)J(θ0,θ1)最小呢？

2.最小二乘法的代数法解法

　　　　上面提到要使𝐽(𝜃0,𝜃1)J(θ0,θ1)最小，方法就是对𝜃0和𝜃1θ0和θ1分别来求偏导数，令偏导数为0，得到一个关于𝜃0和𝜃1θ0和θ1的二元方程组。求解这个二元方程组，就可以得到𝜃0和𝜃1θ0和θ1的值。下面我们具体看看过程。

　　　　𝐽(𝜃0,𝜃1)对𝜃0J(θ0,θ1)对θ0求导，得到如下方程：

　　　　∑𝑖=1𝑚(𝑦(𝑖)−𝜃0−𝜃1𝑥(𝑖))=0∑i=1m(y(i)−θ0−θ1x(i))=0                                  ①

　　　　𝐽(𝜃0,𝜃1)对𝜃1J(θ0,θ1)对θ1求导，得到如下方程：

　　　　∑𝑖=1𝑚(𝑦(𝑖)−𝜃0−𝜃1𝑥(𝑖))𝑥(𝑖)=0∑i=1m(y(i)−θ0−θ1x(i))x(i)=0　　　　　　　　 ②

　　　　①和②组成一个二元一次方程组，容易求出𝜃0和𝜃1θ0和θ1的值：

　　　　

　　　　𝜃0=∑𝑖=1𝑚(𝑥(𝑖))2∑𝑖=1𝑚𝑦(𝑖)−∑𝑖=1𝑚𝑥(𝑖)∑𝑖=1𝑚𝑥(𝑖)𝑦(𝑖)/𝑚∑𝑖=1𝑚(𝑥(𝑖))2−(∑𝑖=1𝑚𝑥(𝑖))2θ0=∑i=1m(x(i))2∑i=1my(i)−∑i=1mx(i)∑i=1mx(i)y(i)/m∑i=1m(x(i))2−(∑i=1mx(i))2

 

　　　　𝜃1=𝑚∑𝑖=1𝑚𝑥(𝑖)𝑦(𝑖)−∑𝑖=1𝑚𝑥(𝑖)∑𝑖=1𝑚𝑦(𝑖)/𝑚∑𝑖=1𝑚(𝑥(𝑖))2−(∑𝑖=1𝑚𝑥(𝑖))2θ1=m∑i=1mx(i)y(i)−∑i=1mx(i)∑i=1my(i)/m∑i=1m(x(i))2−(∑i=1mx(i))2

 

　　　　这个方法很容易推广到多个样本特征的线性拟合。

　　　　拟合函数表示为 ℎ𝜃(𝑥1,𝑥2,...𝑥𝑛)=𝜃0+𝜃1𝑥1+...+𝜃𝑛𝑥𝑛hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn, 其中𝜃𝑖θi (i = 0,1,2... n)为模型参数，𝑥𝑖xi (i = 0,1,2... n)为每个样本的n个特征值。这个表示可以简化，我们增加一个特征𝑥0=1x0=1 ，这样拟合函数表示为：

　　　　ℎ𝜃(𝑥0,𝑥1,...𝑥𝑛)=∑𝑖=0𝑛𝜃𝑖𝑥𝑖hθ(x0,x1,...xn)=∑i=0nθixi。

　　　　损失函数表示为：

           𝐽(𝜃0,𝜃1...,𝜃𝑛)=∑𝑗=1𝑚(ℎ𝜃(𝑥(𝑗)0),𝑥(𝑗)1,...𝑥(𝑗)𝑛))−𝑦(𝑗)))2=∑𝑗=1𝑚(∑𝑖=0𝑛𝜃𝑖𝑥(𝑗)𝑖−𝑦(𝑗))2J(θ0,θ1...,θn)=∑j=1m(hθ(x0(j)),x1(j),...xn(j)))−y(j)))2=∑j=1m(∑i=0nθixi(j)−y(j))2

　　　　利用损失函数分别对𝜃𝑖θi(i=0,1,...n)求导,并令导数为0可得：

　　　　∑𝑗=0𝑚(∑𝑖=0𝑛(𝜃𝑖𝑥(𝑗)𝑖−𝑦(𝑗))𝑥(𝑗)𝑖∑j=0m(∑i=0n(θixi(j)−y(j))xi(j) = 0   (i=0,1,...n)

　　　　这样我们得到一个N+1元一次方程组，这个方程组有N+1个方程，求解这个方程，就可以得到所有的N+1个未知的𝜃θ。

　　　　

　　　　这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样，都是用损失函数对各个参数求导取0，然后求解方程组得到参数值。这里就不累述了。

 

3.最小二乘法的矩阵法解法

　　　　矩阵法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。

　　　　这里用上面的多元线性回归例子来描述矩阵法解法。

　　　　

　　　　假设函数ℎ𝜃(𝑥1,𝑥2,...𝑥𝑛)=𝜃0+𝜃1𝑥1+...+𝜃𝑛−1𝑥𝑛−1hθ(x1,x2,...xn)=θ0+θ1x1+...+θn−1xn−1的矩阵表达方式为：

　　　　　ℎ𝜃(𝐱)=𝐗𝜃hθ(x)=Xθ 

　　　　其中， 假设函数ℎ𝜃(𝐗)hθ(X)为mx1的向量,𝜃θ为nx1的向量，里面有n个代数法的模型参数。𝐗X为mxn维的矩阵。m代表样本的个数，n代表样本的特征数。

　　　　损失函数定义为𝐽(𝜃)=12(𝐗𝜃−𝐘)𝑇(𝐗𝜃−𝐘)J(θ)=12(Xθ−Y)T(Xθ−Y)

　　　　其中𝐘Y是样本的输出向量，维度为mx1. 1212在这主要是为了求导后系数为1，方便计算。

　　　　根据最小二乘法的原理，我们要对这个损失函数对𝜃θ向量求导取0。结果如下式：

　　　　∂∂𝜃𝐽(𝜃)=𝐗𝑇(𝐗𝜃−𝐘)=0∂∂θJ(θ)=XT(Xθ−Y)=0

　　　　这里面用到了矩阵求导链式法则，和两个个矩阵求导的公式。

　　　　　　公式1：∂∂𝐱(𝐱𝐓𝐱)=2𝐱𝑥为向量∂∂x(xTx)=2xx为向量

　　　　　　公式2：∇𝑋𝑓(𝐴𝑋+𝐵)=𝐴𝑇∇𝑌𝑓,𝑌=𝐴𝑋+𝐵,𝑓(𝑌)为标量∇Xf(AX+B)=AT∇Yf,Y=AX+B,f(Y)为标量

　　　　对上述求导等式整理后可得：

　　　　𝐗𝐓𝐗𝜃=𝐗𝐓𝐘XTXθ=XTY

　　　　两边同时左乘(𝐗𝐓𝐗)−1(XTX)−1可得：

　　　　𝜃=(𝐗𝐓𝐗)−1𝐗𝐓𝐘θ=(XTX)−1XTY

　　　　这样我们就一下子求出了𝜃θ向量表达式的公式，免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用𝜃=(𝐗𝐓𝐗)−1𝐗𝐓𝐘θ=(XTX)−1XTY算出𝜃θ。

 

4.最小二乘法的局限性和适用场景　　

　　　　从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。

　　　　首先，最小二乘法需要计算𝐗𝐓𝐗XTX的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让𝐗𝐓𝐗XTX的行列式不为0，然后继续使用最小二乘法。

　　　　第二，当样本特征n非常的大的时候，计算𝐗𝐓𝐗XTX的逆矩阵是一个非常耗时的工作（nxn的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

　　　　第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。

　　　　第四，讲一些特殊情况。当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据。当样本量m等于特征数n的时候，用方程组求解就可以了。当m大于n时，拟合方程是超定的，也就是我们常用与最小二乘法的场景了。