机器学习笔记之线性回归

机器学习笔记之线性回归

已知数据集Data:

$(x_1,y_1)，(x_2,y_2)，(x_3,y_3)，\dots \dots ，(x_{N-2}，y_{N-2})，(x_{N-1}，y_{N-1})，（x_N,y_N)$

其中$x_i\in$ $R^p$,$y_i\in R$，$i=1,2,3,\dots \dots ，N$

$X=(x_1,x_2,\dots \dots ，x_{N-1}，x_N{)}^T={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2},& \cdots & x_{Np}\end{array}\right]}_{N\times P}$

Y=$(y_1,y_2，\dots \dots ，y_{N-1}，y_N{)}^T$

给定有$p$个属性描述的输入$\text{x}$=($x_1,x_2,\cdots ，x_p$),其中$x_i$是$\text{x}$在第$i$个属性上的取值，线性模型（linear model)就是通过学习一个属性之间的线性组合来进行预测的函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_p{x}_p+b$$
一般写成向量形式
$$f(x)=w^{T}x+b$$
其中$w$是$p$维的行向量，即$w=(w_1,w_2,\cdots ,w_p)$.线性回归的目的是使得
$$f(x_i)=w^T{x}_i+b\simeq 真实值y_i$$
如何确定$w^T和b$的值呢？因此，就需要一个衡量预测值$f(x_i)$和真实值$y_i$之间差异的函数。最常用的则是均方误差函数（通常叫做损失函数），即

图片来自于https://github.com/ws13685555932/machine_learning_derivation/blob/master/3%20%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92.pdf
详见请点击此链接

$$(w^{\ast },b^{\ast })=\arg \underset{（w,b）}{\min }\sum _{i=1}^N(w^T{x}_i-y_i{)}^2$$
几何意义：均方误差对应了欧几里得距离（欧氏距离）。求解方法使用最小二乘法（least square method)。在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。为了便于求解，可以将$b$设为$0$。下面是求解过程：

线性回归求解
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N\Vert w^T{x}_i-y_i\Vert =\sum _{i=1}^N(w^T{x}_i-y_i{)}^2\\ & =\left(\begin{array}{c}{w}^T{x}_1-y_1,w^T{x}_2-y_2,\cdots ,w^T{x}_N{y}_N\end{array}\right)\left(\begin{array}{c}{w}^T{x}_1-y_1\\ w^T{x}_2-y_2,\\ ⋮\\ w^T{x}_N-y_N\end{array}\right)\\ & =(\left(\begin{array}{c}{w}^T{x}_1,w^T{x}_2,\cdots ,w^T{x}_N\end{array}\right)-\left(\begin{array}{c}{y}_1,y_2,\cdots ,y_N\end{array}\right))\left(\begin{array}{c}{w}^T{x}_1-y_1\\ w^T{x}_2-y_2\\ ⋮\\ w^T{x}_N-y_N\end{array}\right)\\ & =\underset{W^T{X}^T-Y^T}{\underbrace{w^T(\left(\begin{array}{c}{x}_1,x_2,\cdots ,x_N\end{array}\right)-\left(\begin{array}{c}{y}_1,y_2,\cdots ,y_N\end{array}\right))}}\underset{WX-Y}{\underbrace{\left(\begin{array}{c}{w}^T{x}_1-y_1\\ w^T{x}_2-y_2\\ ⋮\\ w^T{x}_N-y_N\end{array}\right)}}\end{array}$$
即:$L(W)=(W^T{X}^T-Y^T)(XW-Y)$

展开可得：
$$L(W)=W^T{X}^{T}XW-W^T{X}^{T}Y-Y^{T}XW+Y^{T}Y$$
因为$W^T{X}^{T}Y$是对称矩阵，所以$L(W)=W^T{X}^{T}XW-2W^T{X}^{T}Y+Y^{T}Y$

$\hat{w}=\arg \min L(W)$

对$L(w)$求关于$w$的偏导得：$\frac{\partial L(w)}{\partial w}=2X^{T}XW-2X^{T}Y$

令偏导的等于零，则$X^TXW=XTY\Rightarrow W=(X^TX){-1}X^TY $

其中$(X^{T}X{)}^{-1}$是矩阵$(X^{T}X)$的逆矩阵。然而，现实任务中$X^{T}X$往往不是满秩矩阵。例如有时在许多任务中我们会遇到大量的变量，其数目超过样例数，导致$X$的例数多于行数，$X^{T}X$显然不满秩，但此时可以求伪逆。此时可以求出多个，它们都能使均方差最小化。至于选哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项（regularization)。

从几何角度来解释:$p$个属性可以理解为$p$维子空间，$f(\beta )$是$y$在$p$维子空间的投影，在$p$维子空间找一向量$\beta$使得$f(\beta )$与$y$的距离最小，则满足$y-f(w)$与$p$维子空间的基向量垂直。即

图片来自于https://github.com/ws13685555932/machine_learning_derivation/blob/master/3%20%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92.pdf
详见请点击此链接

$f(w)=w^{T}x=x^T\beta$
$\begin{array}{rl}{X}^T(Y-f(w))& =0\Rightarrow X^T(Y-X\beta )=0\Rightarrow X^{T}Y=X^{T}X\beta \Rightarrow \beta =(X^{T}X{)}^{-1}{X}^{T}Y\end{array}$

从概率角度来解释：设数据集的噪声$\epsilon \sim N(0,{\sigma }^2)$,$x_i\in R^p$,$y_i\in R$
$$\begin{array}{rl}\begin{array}{c}y=f(w)+\epsilon \\ f(w)=w^{T}x\end{array}\}& \Rightarrow y=w^{T}x+\epsilon \Rightarrow y|x;w\sim (w^{T}x,{\sigma }^2)\\ & \Rightarrow P(y_i|x_i;w)=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2})\end{array}$$
使用最大似然估计法（$maximumlikelihoodestimation,MLE$) 求解，即：
$$\begin{array}{rl}L(w)& =\log P(Y|X;w)=\log \prod _{i=1}^{N}P(y_i|x_i;w)=\sum _{i=1}^N\log P(y_i|x_i;w)\\ & =\sum _{i=1}^N(\log \frac{1}{\sqrt{2\pi }\sigma }+\log exp(-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}))\\ & =\sum _{i=1}^N(\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2(y_i-w^T{x}_i{)}^2})\end{array}$$
即求$\hat{w}=\arg \underset{w}{\max }L(w)=\arg \underset{w}{\max }(\frac{-1}{2{\sigma }^2}(y_i-w^T{x}_i))$

$\Rightarrow \hat{w}=\arg \underset{w}{\min }(y_i-w^T{x}_i{)}^2$ $⟺$损失函数$L(w)={\sum }_{i=1}^N\Vert w^T{x}_i-y_i\Vert$

因此，最小二乘估计法等价于噪声服从正态分布的极大似然估计。LSE $⟺$ MLE
正则化：简单来说，当数据集（样本容量）很少时，最小均方差函数未必可以取得很好的效果，会产生所谓的过拟合现象（就是在训练数据上模型表现效果很好，但是测试数据上表现不好）。因此，为了防止这样的现象发生，常用的方法是有增加样本数据、特征选择（特征提取）如PCA、正则化。本次就介绍通过添加正则项来控制过拟合，在损失函数后面加上正则项，即：
$$L（w)=\sum _{i=1}^N\Vert w^T-y_i{\Vert }^2+\lambda p(w)$$
一般正则项形式如$\lambda |w_i{|}^q$,当$q=1$时，被称为lasso,如果$\lambda$足够大时，某些系数$w_i$会变成零，从而会产生一个稀疏（sparse）模型；当$q=2$时，被称为岭回归（ridge regression），这样的好处是可以求出解析解，在神经网络中，这种方法叫做权值衰减（weight decay)。

因此，损失函数就转化为：$$\begin{array}{rl}J（w）& =\sum _{i=1}^N\Vert w^T{x}_i-y_i{\Vert }^2+\lambda \Vert w{\Vert }^2=\sum _{i=1}^N\Vert w^T{x}_i-y_i\Vert +\lambda w^{T}w\\ & =(W^T{X}^T-Y^T)(XW-Y)+\lambda W^{T}W\\ & =W^T{X}^{T}XW-2W^T{X}^{T}Y+Y^{T}Y+\lambda W^{T}W\\ & =W^T(X^{T}X+\lambda I)W-2W^T{X}^{T}Y+Y^{T}Y\end{array}$$
$\hat{W}=\arg \underset{W}{\min }J(W)$
求导可得：$\frac{\partial J(W)}{\partial W}=2(X^{T}X+\lambda I)W-2X^{T}Y$
令上式等于零，$\frac{\partial J(W)}{\partial W}=0\Rightarrow \hat{W}=（X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$
正则化的概率解释：数据落在模型的几率

图片来自于https://github.com/ws13685555932/machine_learning_derivation/blob/master/3%20%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92.pdf
详见请点击此链接

贝叶斯角度：设$w\sim N(0,{\sigma }_0^2)$即
P ( w ) = 1 2 π σ 0 e x p { − ( y − w T x ) 2 σ 2 } P(w)=\frac{1}{\sqrt{2\pi}\sigma_0}exp\{-\frac{(y-w^Tx)}{2\sigma^2}\} P(w)=2π ​σ0​1​exp{−2σ2(y−wTx)​}， P ( y ∣ w ) = 1 2 π σ e x p { − y − w T x 2 σ 2 } P(y|w)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{y-w^Tx}{2\sigma^2}\} P(y∣w)=2π ​σ1​exp{−2σ2y−wTx​}
$\because P(w|y)=\frac{P(y|w)\cdot P(W)}{P(y)}$
$\therefore$最大后验概率($maximumaposterioriestimation$)MAP
w ^ = arg ⁡ max ⁡ w P ( w ∣ y ) = arg ⁡ max ⁡ w P ( y ∣ w ) ⋅ P ( w ) = arg ⁡ max ⁡ w l o g [ P ( y ∣ w ) ⋅ P ( w ) ] = arg ⁡ max ⁡ w l o g ( 1 2 π σ ⋅ 1 2 π σ 0 ) + l o g exp ⁡ { − ( y − w T x ) 2 2 σ 2 − ∥ w ∥ 2 2 σ 2 } ⇒ arg ⁡ min ⁡ w ( y − w T x ) 2 2 σ 2 + ∥ w ∥ 2 2 σ 0 2 ⇒ arg ⁡ min ⁡ w ( y − w T x ) 2 + σ 2 σ 0 2 ∥ w ∥ 2 \begin{aligned}\hat{w}&=\arg \max \limits_{w}P(w|y)=\arg \max \limits_{w}P(y|w)\cdot P(w)\\&=\arg \max \limits_{w}log[P(y|w)\cdot P(w)]\\&=\arg \max \limits_{w}log(\frac{1}{\sqrt{2\pi}\sigma} \cdot\frac{1}{\sqrt{2\pi}\sigma_0})+log \exp\{-\frac{(y-w^Tx)^2}{2\sigma^2}-\frac{\|w\|^2}{2\sigma^2}\}\\&\Rightarrow\arg \min \limits_w\frac{(y-w^Tx)^2}{2\sigma^2}+\frac{\|w\|^2}{2\sigma_0^2}\Rightarrow\arg \min \limits_w(y-w^Tx)^2+\frac{\sigma_2}{\sigma_0^2}\|w\|^2 \end{aligned} w^​=argwmax​P(w∣y)=argwmax​P(y∣w)⋅P(w)=argwmax​log[P(y∣w)⋅P(w)]=argwmax​log(2π ​σ1​⋅2π ​σ0​1​)+logexp{−2σ2(y−wTx)2​−2σ2∥w∥2​}⇒argwmin​2σ2(y−wTx)2​+2σ02​∥w∥2​⇒argwmin​(y−wTx)2+σ02​σ2​​∥w∥2​
上式最终优化等价于${\hat{w}}_{MAP}=\arg \underset{w}{\min }{\sum }_{i=1}^N(y-w^{T}x{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}\Vert w{\Vert }^2$

与Ridge Regression$J(w)={\sum }_{i=1}^N(w^T{x}_i-y_i{)}^2+\lambda w^{T}w$比较可得，$\lambda =\frac{{\sigma }^2}{{\sigma }_0^2}$

因此可以得出最小二乘估计LSE$⟺$极大似然估计MLE(噪声为高斯分布）,正则化最小二乘估计Regularized LSE $⟺$最大后验概率估价MAP