最小二乘法
最小二乘法是勒让德( A. M. Legendre)于1805年在其著作《计算慧星轨道的新方法》中提出的。它的主要思想就是求解未知参数,使得理论值与观测值之差(即误差,或者说残差)的平方和达到最小:
E
=
∑
m
i
e
2
=
∑
m
i
(
y
i
−
y
^
)
2
E=\sum_{m}^{i}e^2=\sum_{m}^{i}(y_i-\hat{y})^2
E=m∑ie2=m∑i(yi−y^)2
其中,
y
i
y_i
yi为观测样本,
y
^
\hat{y}
y^为我们的期望值,
E
E
E即为损失函数,在机器学习中,我们通常最小化
E
E
E来确定昌参数。
直线拟合/多元线性回归
对于多元线性函数,有如下表达式:
h
θ
(
x
1
,
x
2
,
.
.
.
,
x
n
)
=
θ
0
+
θ
1
x
1
+
.
.
.
+
θ
n
x
n
h_\theta(x_1,x_2,...,x_n)=\theta_{0}+\theta_{1}x_1+...+\theta_{n}x_n
hθ(x1,x2,...,xn)=θ0+θ1x1+...+θnxn
故损失函数可以写成如下形式:
J
(
θ
)
=
1
2
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
=
1
2
t
r
(
(
X
θ
−
Y
)
T
(
X
θ
−
Y
)
)
J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2=\frac{1}{2}tr((X\theta-Y)^T(X\theta-Y))
J(θ)=21i=1∑m(hθ(x(i))−y(i))2=21tr((Xθ−Y)T(Xθ−Y))
note:对标量进行迹的运算不改变运算结果
于是,对
θ
\theta
θ求偏导:
∂
J
(
θ
)
∂
θ
=
X
T
X
θ
−
X
T
Y
\frac{\partial J(\theta)}{\partial \theta}=X^{T}X\theta-X^{T}Y
∂θ∂J(θ)=XTXθ−XTY
令偏导为0,得到:
θ
=
(
X
T
X
)
−
1
X
T
Y
\theta=(X^{T}X)^{-1}X^{T}Y
θ=(XTX)−1XTY
这样,我们便得到了参数的解析解。需要注意的是,最小二乘法是在假定随机误差项服从标准(均值为0即可)的正态分布的特殊情况,即从极大似然的角度,当假定误差项服从均值为0的正态分布时,损失函数与最小二乘完全一致。下面我们来看看极大似然估计
极大似然估计
现在假设我们有m个样本,我们假设有:
假定误差项服从正态分布,我们有:
即有:
那么我们可以写成似然函数:
由极大似然估计的定义,我们需要
L
(
θ
)
L(\theta)
L(θ)最大,那么我们怎么才能是的这个值最大呢?两边取对数对这个表达式进行化简如下:
需要
l
(
θ
)
l(\theta)
l(θ)最大,也即最后一项的后半部分最小,也即:
可以看到,损失函数的表达形式与最小二乘完全一致,我们可以直接求偏导得到解析解或利用梯度下降得到全局最优(表达式为凸函数)。
总结
最小二乘和极大似然虽然在形式上一致(损失函数相同),但思考的角度并不一致。
- 最小二乘法从模型拟合的角度出发,利用残差平方和来衡量拟合的优劣
- 极大似然估计希望从模型中抽取 m m m个样本的概率最大,即似然函数最大。因此,极大似然估计需要知道参数分布,在线性模型中,一般假定残差项服从均值为0的正态分布,此时得到的损失表达式与最小二乘一致。