最小二乘法(Least squares)
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。
1.最小二乘法的原理与要解决的问题
最小二乘法是由勒让德在 19 世纪发现的,原理的一般形式很简单,当然发现的过程是非常艰难的。形式如下式:
观测值就是我们的 多组样本,理论值就是我们的假设拟合函数。 目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子,比如我们有m个只有一个特征的样本:
样本采用下面的拟合函数:
这样我们的样本有一个特征 x,对应的拟合函数有两个参数 θ0 θ 0 和 θ1 θ 1 需要求出。
我们的目标函数为:
用最小二乘法做什么呢,使 J(θ0,θ1) J ( θ 0 , θ 1 ) 最小,求出使 J(θ0,θ1) J ( θ 0 , θ 1 ) 最小时的 θ0 θ 0 和 θ1 θ 1 ,这样拟合函数就得出了。
那么,最小二乘法怎么才能使 J(θ0,θ1) J ( θ 0 , θ 1 ) 最小呢?
2.最小二乘法的代数法解法
上面提到要使
J(θ0,θ1)
J
(
θ
0
,
θ
1
)
最小,方法就是对
θ0
θ
0
和
θ1
θ
1
分别来求偏导数,令偏导数为0,得到一个关于
θ0
θ
0
和
θ1
θ
1
的二元方程组。求解这个二元方程组,就可以得到
θ0
θ
0
和
θ1
θ
1
的值。下面我们具体看看过程。
J(θ0,θ1)
J
(
θ
0
,
θ
1
)
对
θ0
θ
0
求导,得到如下方程:
J(θ0,θ1) J ( θ 0 , θ 1 ) 对 θ1 θ 1 求导,得到如下方程:
a 和 b组成一个二元一次方程组,容易求出 θ0 θ 0 和 θ1 θ 1 的值:
这个方法很容易推广到多个样本特征的线性拟合。
拟合函数表示为 hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn h θ ( x 1 , x 2 , . . . x n ) = θ 0 + θ 1 x 1 + . . . + θ n x n , 其中 θi (i=0,1,2...n) θ i ( i = 0 , 1 , 2... n ) 为模型参数, xi (i=0,1,2...n) x i ( i = 0 , 1 , 2... n ) 为每个样本的 n n 个特征值。这个表示可以简化,我们增加一个特征 ,这样拟合函数表示为:
损失函数表示为:
利用损失函数分别对 θi θ i (i=0,1,…n)求导,并令导数为0可得:
这样我们得到一个N+1元一次方程组,这个方程组有N+1个方程,求解这个方程,就可以得到所有的N+1个未知的 θ θ 。
这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样,都是用损失函数对各个参数求导取0,然后求解方程组得到参数值。这里就不累述了。
3.最小二乘法的矩阵法解法
矩阵法比代数法要简洁,且矩阵运算可以取代循环,所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。
这里用上面的多元线性回归例子来描述矩阵法解法。
假设函数
hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn
h
θ
(
x
1
,
x
2
,
.
.
.
x
n
)
=
θ
0
+
θ
1
x
1
+
.
.
.
+
θ
n
x
n
的矩阵表达方式为:
其中, 假设函数 hθ(x) h θ ( x ) 为m x 1的向量, θ θ 为n x 1的向量,里面有 n 个代数法的模型参数。 X X 为m x n维的矩阵。m 代表样本的个数,n 代表样本的特征数。
损失函数定义为
其中 Y Y 是样本的输出向量,维度为m x 1. 在这主要是为了求导后系数为1,方便计算。
根据最小二乘法的原理,我们要对这个损失函数对 θ θ 向量求导取0。结果如下式:
这里面用到了矩阵求导链式法则,和两个矩阵求导的公式。
公式1: ∂∂X(XXT)=2X ∂ ∂ X ( X X T ) = 2 X
公式2: ∂∂θ(Xθ)=XT ∂ ∂ θ ( X θ ) = X T
对上述求导等式整理后可得:
两边同时左乘 (XTX)−1 ( X T X ) − 1 可得:
这样我们就一下子求出了 θ θ 向量表达式的公式,免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用 θ=(XTX)−1XTY θ = ( X T X ) − 1 X T Y 算出 θ θ 。
4.最小二乘法的局限性和适用场景
从上面可以看出,最小二乘法适用简洁高效,比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。
首先,最小二乘法需要计算 XTX X T X 的逆矩阵,有可能它的逆矩阵不存在,这样就没有办法直接用最小二乘法了,此时梯度下降法仍然可以使用。当然,我们可以通过对样本数据进行整理,去掉冗余特征。让 XTX X T X 的行列式不为0,然后继续使用最小二乘法。
第二,当样本特征n非常的大的时候,计算 XTX X T X 的逆矩阵是一个非常耗时的工作(n x n的矩阵求逆),甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢?如果你没有很多的分布式大数据计算资源,建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。
第三,如果拟合函数不是线性的,这时无法使用最小二乘法,需要通过一些技巧转化为线性才能使用,此时梯度下降仍然可以用。
第四,讲一些特殊情况。当样本量 m 很少,小于特征数 n 的时候,这时拟合方程是欠定的,常用的优化方法都无法去拟合数据。当样本量 m 等于特征数 n 的时候,用方程组求解就可以了。当 m 大于n时,拟合方程是超定的,也就是我们常用与最小二乘法的场景了。