最小二乘法

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。

1.最小二乘法的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的,原理的一般形式很简单,当然发现的过程是非常艰难的。形式如下式:

目标函数 = Σ(观测值-理论值) 2 ^2 2

观测值就是我们的多组样本,理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子,比如我们有m个只有一个特征的样本:

( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . ( x ( m ) , y ( m ) ) (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...(x^{(m)},y^{(m)}) (x(1),y(1)),(x(2),y(2)),...(x(m),y(m))

样本采用下面的拟合函数:

h θ ( x ) = θ 0 + θ 1 x h_\theta(x)=\theta_0+\theta_1x hθ(x)=θ0+θ1x

这样我们的样本有一个特征x,对应的拟合函数有两个参数 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1需要求出。

我们的目标函数为:

J ( θ 0 , θ 1 ) = ∑ i = 1 m ( y ( i ) − θ 0 − θ 1 x ( i ) ) 2 J(\theta_0,\theta_1)=\sum_{i=1}{m}( y^{(i)}-\theta_0-\theta_1x^{(i)})2 J(θ0,θ1)=i=1m(y(i)θ0θ1x(i))2

用最小二乘法做什么呢,使 J ( θ 0 , θ 1 ) J(\theta_0,\theta_1) J(θ0,θ1)最小,求出使 J ( θ 0 , θ 1 ) J(\theta_0,\theta_1) J(θ0,θ1)最小时的 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1,这样拟合函数就得出了。

那么,最小二乘法怎么才能使 J ( θ 0 , θ 1 ) J(\theta_0,\theta_1) J(θ0,θ1)最小呢?

2.最小二乘法的代数法解法

上面提到要使 J ( θ 0 , θ 1 ) J(\theta_0,\theta_1) J(θ0,θ1)最小,方法就是对 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1分别来求偏导数,令偏导数为0,得到一个关于 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1的二元方程组。求解这个二元方程组,就可以得到 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1的值。下面我们具体看看过程。

J ( J( J( θ 0 \theta_0 θ0 , , , θ 1 \theta_1 θ1 ) 对 )对 ) θ 0 \theta_0 θ0求导,得到如下方程:

∑ i = 1 m ( y ( i ) − θ 0 − θ 1 x ( i ) ) = 0 \sum\limits_{i=1}{m}(y^{(i)} - \theta_0 - \theta_1 x^{(i)}) = 0 i=1m(y(i)θ0θ1x(i))=0

J ( θ 0 , θ 1 ) J(\theta_0, \theta_1) J(θ0,θ1) θ 1 \theta_1 θ1求导,得到如下方程:

∑ i = 1 m ( y ( i ) − θ 0 − θ 1 x ( i ) ) x ( i ) = 0 \sum\limits_{i=1}{m}( y^{(i)} - \theta_0 - \theta_1 x^{(i)})x^{(i)} = 0 i=1m(y(i)θ0θ1x(i))x(i)=0

①和②组成一个二元一次方程组,容易求出 θ 0 \theta_0 θ0 θ 1 \theta_1 θ1的值:

θ 0 = ∑ i = 1 m ( x ( i ) ) 2 ∑ i = 1 m y ( i ) − ∑ i = 1 m x ( i ) ∑ i = 1 m x ( i ) y ( i ) / n ∑ i = 1 m ( x ( i ) ) 2 − ( ∑ i = 1 m x ( i ) ) 2 \theta_0 = \sum\limits_{i=1}{m}\big( x^{(i)})2\sum\limits_{i=1}{m}y^{(i)} - \sum\limits_{i=1}{m}x^{(i)}\sum\limits_{i=1}{m}x^{(i)}y^{(i)} \Bigg/ n\sum\limits_{i=1}{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}{m}x^{(i)})^2 θ0=i=1m(x(i))2i=1my(i)i=1mx(i)i=1mx(i)y(i)/ni=1m(x(i))2(i=1mx(i))2

θ 1 = n ∑ i = 1 m x ( i ) y ( i ) − ∑ i = 1 m x ( i ) ∑ i = 1 m y ( i ) / n ∑ i = 1 m ( x ( i ) ) 2 − ( ∑ i = 1 m x ( i ) ) 2 \theta_1 = n\sum\limits_{i=1}{m} x^{(i)}y^{(i)} - \sum\limits_{i=1}{m}x^{(i)}\sum\limits_{i=1}{m}y^{(i)} \Bigg/ n\sum\limits_{i=1}{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}{m}x^{(i)})^2 θ1=ni=1mx(i)y(i)i=1mx(i)i=1my(i)/ni=1m(x(i))2(i=1mx(i))2

这个方法很容易推广到多个样本特征的线性拟合。

拟合函数表示为 h θ ( x 1 , x 2 , . . . x n ) = θ 0 + θ 1 x 1 + . . . + θ n x n h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n} hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn, 其中 θ i \theta_i θi(i = 0,1,2… n)为模型参数, x i x_i xi(i = 0,1,2… n)为每个样本的n个特征值。这个表示可以简化,我们增加一个特征 x 0 = 1 x_0=1 x0=1,这样拟合函数表示为:

h θ ( x 0 , x 1 , . . . x n ) = ∑ i = 0 n θ i x i h_\theta(x_0, x_1, ...x_n) = \sum\limits_{i=0}^{n}\theta_{i}x_{i} hθ(x0,x1,...xn)=i=0nθixi

损失函数表示为:

J ( θ 0 , θ 1 . . . , θ n ) = ∑ j = 1 m ( h θ ( x 0 ( j ) ) , x 1 ( j ) , . . . x n ( j ) ) ) − y ( j ) ) ) 2 = ∑ j = 1 m ( ∑ i = 0 n θ i x i ( j ) − y ( j ) ) 2 J(\theta_0, \theta_1..., \theta_n) = \sum\limits_{j=1}^{m}(h_\theta(x_0^{(j)}), x_1^{(j)}, ...x_n^{(j)})) - y^{(j)}))2 = \sum\limits_{j=1}^{m}(\sum\limits_{i=0}^{n}\theta_{i}x_{i}^{(j)}- y^{(j)})2 J(θ0,θ1...,θn)=j=1m(hθ(x0(j)),x1(j),...xn(j)))y(j)))2=j=1m(i=0nθixi(j)y(j))2

利用损失函数分别对 θ i \theta_i θi(i=0,1,…n)求导,并令导数为0可得:

∑ j = 0 m ( ∑ i = 0 n θ i x i ( j ) − y j ) x i j = 0 \sum\limits_{j=0}^{m}(\sum\limits_{i=0}^{n}\theta_{i}x_{i}^{(j)} - y_j)x_i^{j}=0 j=0m(i=0nθixi(j)yj)xij=0 (i=0,1,…n)

这样我们得到一个N+1元一次方程组,这个方程组有N+1个方程,求解这个方程,就可以得到所有的N+1个未知的θ。

这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样,都是用损失函数对各个参数求导取0,然后求解方程组得到参数值。这里就不累述了。

3.最小二乘法的矩阵法解法

矩阵法比代数法要简洁,且矩阵运算可以取代循环,所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。

这里用上面的多元线性回归例子来描述矩阵法解法。

假设函数 h θ ( x 1 , x 2 , . . . x n ) = θ 0 + θ 1 x 1 + . . . + θ n x n h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n} hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn的矩阵表达方式为:

h θ ( x ) = X θ h_\mathbf{\theta}(\mathbf{x}) = \mathbf{X\theta} hθ(x)=Xθ

其中, 假设函数 h θ ( X ) h_\mathbf{\theta}(\mathbf{X}) hθ(X)为mx1的向量,θ为nx1的向量,里面有n个代数法的模型参数。X为mxn维的矩阵。m代表样本的个数,n代表样本的特征数。

损失函数定义为 J ( θ ) = 1 2 ( X θ − Y ) T ( X θ − Y ) J(\mathbf\theta) = \frac{1}{2}(\mathbf{X\theta} - \mathbf{Y})^T(\mathbf{X\theta} - \mathbf{Y}) J(θ)=21(XθY)T(XθY)

其中Y是样本的输出向量,维度为mx1. 1/2在这主要是为了求导后系数为1,方便计算。

根据最小二乘法的原理,我们要对这个损失函数对θ向量求导取0。结果如下式:

∂ ∂ θ J ( θ ) = X T ( X θ − Y ) = 0 \frac{\partial}{\partial\mathbf\theta}J(\mathbf\theta) = \mathbf{X}^T(\mathbf{X\theta} - \mathbf{Y}) = 0 θJ(θ)=XT(XθY)=0

这里面用到了矩阵求导链式法则,和两个矩阵求导的公式。

公式1: ∂ ∂ X ( X X T ) = 2 X \frac{\partial}{\partial\mathbf{X}}(\mathbf{XX^T}) =2\mathbf{X} X(XXT)=2X

公式2: ∂ ∂ θ ( X θ ) = X T \frac{\partial}{\partial\mathbf\theta}(\mathbf{X\theta}) =\mathbf{X^T} θ(Xθ)=XT

对上述求导等式整理后可得:

x T X θ = x T Y \mathbf{x^{T} X\theta} = \mathbf{x^{T}Y} xTXθ=xTY

两边同时左乘 ( x T X ) − 1 (\mathbf{x^{T} X}){-1} (xTX)1可得:

θ = ( X T X ) − 1 X T Y \mathbf{\theta} = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y} θ=(XTX)1XTY

这样我们就一下子求出了θ向量表达式的公式,免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用 θ = ( X T X ) − 1 X T Y \mathbf{\theta} = (\mathbf{X^{T}X})^{ -1}\mathbf{X^{T}Y} θ=(XTX)1XTY算出θ。

4.最小二乘法的局限性和适用场景

从上面可以看出,最小二乘法适用简洁高效,比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。

首先,最小二乘法需要计算 X T X \mathbf{X^{T}X} XTX的逆矩阵,有可能它的逆矩阵不存在,这样就没有办法直接用最小二乘法了,此时梯度下降法仍然可以使用。当然,我们可以通过对样本数据进行整理,去掉冗余特征。让 X T X \mathbf{X^{T}X} XTX的行列式不为0,然后继续使用最小二乘法。

第二,当样本特征n非常的大的时候,计算 X T X \mathbf{X^{T}X} XTX的逆矩阵是一个非常耗时的工作(nxn的矩阵求逆),甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢?如果你没有很多的分布式大数据计算资源,建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

第三,如果拟合函数不是线性的,这时无法使用最小二乘法,需要通过一些技巧转化为线性才能使用,此时梯度下降仍然可以用。

第四,讲一些特殊情况。当样本量m很少,小于特征数n的时候,这时拟合方程是欠定的,常用的优化方法都无法去拟合数据。当样本量m等于特征数n的时候,用方程组求解就可以了。当m大于n时,拟合方程是超定的,也就是我们常用与最小二乘法的场景了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值