一文搞懂多元线性回归 | 多项式回归 | 岭回归 | Lasso回归原理推导，L1、L2正则化以及代码实现

---

前言

---

一、多元线性回归

1、问题描述

在多元线性回归中，我们的目标是使用一组输入变量（或特征）$x_1,x_2,...,x_D$ 来预测一个输出变量 $y$。

2、模型建模

对于第$i$条数据，其回归方程可以表示为：

$$\begin{array}{c}{y}_i=w_0+w_1{x}_{i1}+w_2{x}_{i2}+...+w_D{x}_{iD}+{ϵ}_i\end{array}$$

其中，$w_j$ 是第 $j$ 个回归系数，${ϵ}_i$ 是第 $i$ 个观察的误差项。$w_0$ 是截距项，也可以看作是当所有输入都为0时的输出。

误差项： 我们假设误差项 ${ϵ}_i$ 服从均值为0、方差为 ${\beta }^{-1}$ 的高斯分布，即
$$\begin{array}{c}{ϵ}_i\sim \mathcal{N}(0,{\beta }^{-1})\end{array}$$

这个假设意味着我们的模型预测有误差，且这些误差是随机的、独立的，并且遵循正态分布。

基函数： 在多元线性回归中，我们还可以引入基函数 $\varphi (x)$，以便我们可以对输入进行非线性转换。在这种情况下，我们的模型变为：

$$\begin{array}{c}{y}_i=w_0+w_1{\varphi }_1(x_i)+w_2{\varphi }_2(x_i)+...+w_D{\varphi }_D(x_i)+{ϵ}_i\end{array}$$

这使我们可以使用线性模型来拟合非线性关系。定义 ${\varphi }_0(x)=1$ ，其可以简单的表示为：
$$\begin{array}{c}{y}_i=\sum _{j=0}^D{w}_j{\varphi }_j(x_i)+{ϵ}_i\end{array}$$

这里我们并不关心基函数是什么，并不影响模型的求解，常见的基函数有：

1. 高斯基函数
   ϕ j ( x ) = e x p { − ( x − μ j ) 2 2 s 2 } \begin{equation} \phi_j(x) = exp\{-\frac{(x-\mu_j)^2}{2s^2}\} \end{equation} ϕj​(x)=exp{−2s2(x−μj​)2​}​​
2. Sigmoid 基函数

ϕ j ( x ) = 1 1 + e x p { − ( x − μ j ) / s } \begin{equation} \phi_j(x) = \frac{1}{1 + exp\{-(x-\mu_j)/s\}} \end{equation} ϕj​(x)=1+exp{−(x−μj​)/s}1​​​
3. 双曲正切函数,简称 Tanh，$tanh(x)=2\sigma (2x)-1$
ϕ ( x ) = tanh ⁡ ( x ) = e x p { ( x − μ j ) / s } − e x p { − ( x − μ j ) / s } e x p { ( x − μ j ) / s } + e x p { − ( x − μ j ) / s } \begin{equation} \phi(x) = \tanh(x) = \frac{exp\{(x-\mu_j)/s\} - exp\{-(x-\mu_j)/s\}}{exp\{(x-\mu_j)/s\} + exp\{-(x-\mu_j)/s\}} \end{equation} ϕ(x)=tanh(x)=exp{(x−μj​)/s}+exp{−(x−μj​)/s}exp{(x−μj​)/s}−exp{−(x−μj​)/s}​​​

3、问题求解

3.1 精确解

已知： $t=y(x,w)+ϵ$，$ϵ\sim$是一个高斯噪声$ϵ\sim \mathcal{N}(0,{\beta }^{-1})$，样本 X = { x 1 , ⋅ ⋅ ⋅ , x N } ， t = { t 1 , ⋅ ⋅ ⋅ , t N } = { t n ∣ n = 1 ⋅ ⋅ ⋅ N } X=\{x_1,\cdot\cdot\cdot,x_N\}，t=\{t_1,\cdot\cdot\cdot,t_N\}=\{t_n|n=1\cdot\cdot\cdot N\} X={x1​,⋅⋅⋅,xN​}，t={t1​,⋅⋅⋅,tN​}={tn​∣n=1⋅⋅⋅N}

因为 $ϵ$ 是高斯分布的，所以 $t$ 也会是高斯分布的，因为 $t$ 是由 $y(x,w)$ 和 $ϵ$ 的和构成的，而 $y(x,w)$ 是确定的，不会引入额外的随机性，即：

$$\begin{array}{c}p(t|x,w,\beta )=\mathcal{N}(t|y(x,w),{\beta }^{-1})\end{array}$$

当 ${\varphi }_i(x_i)=x_i$时，$t$在给定的$x$的情况下是服从$\mathcal{N}(t|y(x,w),{\beta }^{-1})$

那么在给定数据集$X$和$t$的情况下,其释然函数为：
$$\begin{array}{c}p(t|X,w,\beta )=\prod _{n=1}^N\mathcal{N}(t_n|w^T\varphi (x_n),{\beta }^{-1})\end{array}$$
使用极大释然估计的方法求参数$w$和$\beta$，那么对释然函数的对数求其最大时的参数$w$和$\beta$，即：

ln p ( t ∣ X , w , β ) = ∑ n = 1 N ln N ( t n ∣ w T ϕ ( x n ) , β − 1 ) = − N 2 ln ⁡ ( 2 π ) + N 2 ln ⁡ ( β − 1 2 ∑ n = 1 N β { t n − w T ϕ ( x n ) } 2 \begin{equation} \begin{align*} \text{ln}p(t|X,w,\beta) &= \sum\limits^{N}_{n=1}\text{ln}\mathcal{N}(t_n|w^T\phi(x_n), \beta^{-1}) \\ &= -\frac{N}{2}\ln(2\pi) + \frac{N}{2}\ln(\beta - \frac{1}{2}\sum\limits_{n=1}^{N}\beta\{t_n - w^T\phi(x_n)\}^2 \end{align*} \end{equation} lnp(t∣X,w,β)​=n=1∑N​lnN(tn​∣wTϕ(xn​),β−1)=−2N​ln(2π)+2N​ln(β−21​n=1∑N​β{tn​−wTϕ(xn​)}2​​​

求解w
此时我们发现求参数$w$时即最小化 E D ( w ) = 1 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 E_D(w)=\frac{1}{2}\sum\limits_{n=1}^{N}\{t_n - w^T\phi(x_n)\}^2 ED​(w)=21​n=1∑N​{tn​−wTϕ(xn​)}2，其实就等价于最小化MSE均方误差。那么$\text{ln}p(t|X,w,\beta )$对$w$的梯度为：

∇ ln p ( t ∣ X , w , β ) = β ∑ n = 1 N { t n − w T ϕ ( x ) } ϕ ( x n ) T \begin{equation} \nabla\text{ln}p(t|X,w,\beta)=\beta\sum\limits_{n=1}^{N}\{t_n - w^T\phi(x)\}\phi(x_n)^T \end{equation} ∇lnp(t∣X,w,β)=βn=1∑N​{tn​−wTϕ(x)}ϕ(xn​)T​​
令导数等于0
∇ ln p ( t ∣ X , w , β ) = β ∑ n = 1 N { t n − w T ϕ ( x n ) } ϕ ( x n ) T = 0 \begin{equation} \nabla\text{ln}p(t|X,w,\beta)=\beta\sum\limits_{n=1}^{N}\{t_n - w^T\phi(x_n)\}\phi(x_n)^T=0 \end{equation} ∇lnp(t∣X,w,β)=βn=1∑N​{tn​−wTϕ(xn​)}ϕ(xn​)T=0​​
我们可以进行如下推导以求解 $w$：

$$\begin{array}{c}\sum _{n=1}^N{t}_n\varphi (x_n{)}^T-\sum _{n=1}^N{w}^T\varphi (x_n)\varphi (x_n{)}^T=0\end{array}$$

$$\begin{array}{c}\sum _{n=1}^N{t}_n\varphi (x_n{)}^T-w^T\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T\right)=0\end{array}$$

$$\begin{array}{c}{w}^T\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T\right)=\sum _{n=1}^N{t}_n\varphi (x_n{)}^T\end{array}$$

$$\begin{array}{c}w={\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T\right)}^{-1}\sum _{n=1}^N{t}_n\varphi (x_n)\end{array}$$
我们把它写成矩阵的形式，令 Φ = { ϕ ( x 1 ) T , ϕ ( x 2 ) T , ⋅ ⋅ ⋅ , ϕ ( x n ) T } T \Phi=\{\phi(x_1)^T, \phi(x_2)^T,\cdot\cdot\cdot,\phi(x_n)^T\}^T Φ={ϕ(x1​)T,ϕ(x2​)T,⋅⋅⋅,ϕ(xn​)T}T
$$\begin{array}{c}\Phi =\left[\begin{array}{cccc}{\varphi }_0(x_1)& {\varphi }_1(x_1)& \cdots & {\varphi }_D(x_1)\\ {\varphi }_0(x_2)& {\varphi }_1(x_2)& \cdots & {\varphi }_D(x_2)\\ ⋮& ⋮& \ddots & ⋮\\ {\varphi }_0(x_N)& {\varphi }_1(x_N)& \cdots & {\varphi }_D(x_N)\end{array}\right]\end{array}$$
ϕ ( x n ) T = { ϕ 0 ( x n ) , ⋯   , ϕ D ( x n ) } \begin{equation} \phi(x_n)^T=\{\phi_0(x_n),\cdots,\phi_D(x_n)\} \end{equation} ϕ(xn​)T={ϕ0​(xn​),⋯,ϕD​(xn​)}​​
用矩阵的形式表示为：
$$\begin{array}{c}w=({\Phi }^T\Phi {)}^{-1}{\Phi }^{T}t\end{array}$$
其中${\Phi }^{†}=({\Phi }^T\Phi {)}^{-1}{\Phi }^T$为伪逆矩阵
在$w$中$w_0$是截距，我们此时可以将其拿出来讨论
E D ( w ) = 1 2 ∑ n = 1 N { t n − w 0 − ∑ j = 1 D w j ϕ j ( x n ) } 2 \begin{equation} E_D(w)=\frac{1}{2}\sum\limits_{n=1}^{N}\{t_n - w_0 - \sum\limits^{D}_{j=1}w_j\phi_j(x_n)\}^2 \end{equation} ED​(w)=21​n=1∑N​{tn​−w0​−j=1∑D​wj​ϕj​(xn​)}2​​
首先，我们对 $w_0$ 求偏导：
∂ E D ( w ) ∂ w 0 = − ∑ n = 1 N { t n − w 0 − ∑ j = 1 D w j ϕ j ( x n ) } \begin{equation} \frac{\partial E_D(w)}{\partial w_0} = -\sum_{n=1}^{N}\{t_n - w_0 - \sum_{j=1}^{D}w_j\phi_j(x_n)\} \end{equation} ∂w0​∂ED​(w)​=−n=1∑N​{tn​−w0​−j=1∑D​wj​ϕj​(xn​)}​​
然后，我们令该偏导数等于0，得到：
∑ n = 1 N { t n − w 0 − ∑ j = 1 D w j ϕ j ( x n ) } = 0 \begin{equation} \sum_{n=1}^{N}\{t_n - w_0 - \sum_{j=1}^{D}w_j\phi_j(x_n)\} = 0 \end{equation} n=1∑N​{tn​−w0​−j=1∑D​wj​ϕj​(xn​)}=0​​
接着，我们可以将 $w_0$ 提出来，得到：
$$\begin{array}{c}N{w}_0=\sum _{n=1}^N{t}_n-\sum _{n=1}^N\sum _{j=1}^D{w}_j{\varphi }_j(x_n)\end{array}$$
假设我们已经求出了 $w_j$，$j=1,2,...,D$，那么 $w_0$ 的解为：
$$\begin{array}{c}\begin{array}{rl}{w}_0& =\frac{1}{N}\left(\sum _{n=1}^N{t}_n-\sum _{n=1}^N\sum _{j=1}^D{w}_j{\varphi }_j(x_n)\right)\\ & =\bar{t}-\sum _{j=1}^D{w}_j\overline{{\varphi }_j}\end{array}\end{array}$$
从此可以看出$w_0$就是目标值的平均值与训练集上基函数值的加权平均值之差
求解$\beta$
对$\beta$求导得：
− N 2 β − 1 2 ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 \begin{equation} -\frac{N}{2\beta} -\frac{1}{2}\sum_{n=1}^{N}\{t_n - w^T\phi(x_n)\}^2 \end{equation} −2βN​−21​n=1∑N​{tn​−wTϕ(xn​)}2​​
令导数等于0，即得到：
β − 1 = ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 N \begin{equation} \beta^{-1} = \frac{\sum_{n=1}^{N}\{t_n - w^T\phi(x_n)\}^2}{N} \end{equation} β−1=N∑n=1N​{tn​−wTϕ(xn​)}2​​​
由此可见${\beta }^{-1}$即为残差。

3.2 梯度下降法

当$X$的数据量很大时，求$w$的精确解中的${\Phi }^{†}$中的逆矩阵的复杂度太高，可能无法求解，使用梯度下降法可以求得$w$的近似解。
$$\begin{array}{c}{w}_{t+1}=w_t-\eta \nabla E_n\end{array}$$
$$\begin{array}{c}\nabla E_n=-(t_n-w_t^T\varphi (x_n))\varphi (x_n)\end{array}$$

3.3 正则化

3.3.1 $||w|{|}^2$正则化

我们通过最小化$E_D(w)+\lambda E_w(w)$进行正则化求解参数$w$
$$\begin{array}{c}{E}_w(w)=\frac{1}{2}{w}^{T}w\end{array}$$

$w$的精确解：对$w$求导，并等于0得到：
$$\begin{array}{c}\sum _{n=1}^N{t}_n\varphi (x_n{)}^T-\sum _{n=1}^N{w}^T\varphi (x_n)\varphi (x_n{)}^T+\lambda w=0\end{array}$$

$$\begin{array}{c}\sum _{n=1}^N{t}_n\varphi (x_n{)}^T-w^T\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T\right)+\lambda w=0\end{array}$$

$$\begin{array}{c}{w}^T\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T+\lambda I\right)=\sum _{n=1}^N{t}_n\varphi (x_n{)}^T\end{array}$$

$$\begin{array}{c}w={\left(\sum _{n=1}^N\varphi (x_n)\varphi (x_n{)}^T+\lambda I\right)}^{-1}\sum _{n=1}^N{t}_n\varphi (x_n)\end{array}$$
用矩阵的形式表示为：
$$\begin{array}{c}w=({\Phi }^T\Phi +\lambda I{)}^{-1}{\Phi }^{T}t\end{array}$$
梯度下降法
加入正则化后，$w$使用梯度下降进行求解：
$$\begin{array}{c}{w}_{t+1}=w_t-\eta \nabla E_n-\lambda \nabla E_w\end{array}$$
$$\begin{array}{c}\nabla E_n=-(t_n-w_t^T\varphi (x_n))\varphi (x_n)\end{array}$$
$$\begin{array}{c}\nabla E_w(w)=w_t\end{array}$$
$$\begin{array}{c}{w}_{t+1}=w_t+\eta (t_n-w_t^T\varphi (x_n))\varphi (x_n)-\lambda w_t\end{array}$$

3.3.2 $||w||$正则化

Lasso回归就是多元线性回归加上了$||w||$正则化，求解过程参考Lasso

代码实现

---

二、多项式回归

1、问题描述

多项式拟合是一种数学与统计学中常见的技术，主要用于通过一个多项式函数来近似描述一组数据点的分布趋势。它是回归分析的一种，也叫多项式拟合，是机器学习和数据分析中的重要工具。
这你我门只考虑一维的数据，具体来说，如果我们有一组数据点 $D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)\}$，我们可能想找到一个多项式函数 $P(x,w)=w_0+w_{1}x+w_2{x}^2+\dots +w_m{x}^m$，使得该函数在这些点上的值与实际的 $y$ 值尽可能接近。这就是多项式拟合的主要目标。

2、模型建模

多项式回归方程：
$$\begin{array}{c}P(x,w)=w_0+w_{1}x+w_2{x}^2+\dots +w_m{x}^m\end{array}$$
目标：最小化均方误差$E_D(w)$
E D ( w ) = 1 2 ∑ n = 1 N { P ( x n , w ) − t n } 2 \begin{equation} E_D(w)=\frac{1}{2} \sum\limits^{N}_{n=1}\{P(x_n,w)-t_n\}^2 \end{equation} ED​(w)=21​n=1∑N​{P(xn​,w)−tn​}2​​

3、模型求解

已知：数据集 x = { x 1 , x 2 , ⋯   , x N } , t = { t 1 , t 2 , ⋯   , t N } x=\{x_1,x_2,\cdots,x_N\},t=\{t_1,t_2,\cdots,t_N\} x={x1​,x2​,⋯,xN​},t={t1​,t2​,⋯,tN​}，回归方程$P(x,w)=w_0+w_{1}x+w_2{x}^2+\dots +w_m{x}^m$，目标 w ∗ = arg min ⁡ w E D ( w ) = arg min ⁡ w 1 2 ∑ n = 1 N { P ( x n , w ) − t n } 2 w^* = \underset{w}{\argmin} E_D(w)= \underset{w}{\argmin}\frac{1}{2} \sum\limits^{N}_{n=1}\{P(x_n,w)-t_n\}^2 w∗=wargmin​ED​(w)=wargmin​21​n=1∑N​{P(xn​,w)−tn​}2

3.1精确解

我们将模型的预测值带入$E_D(w)$中：
E D ( w ) = 1 2 ∑ n = 1 N { w 0 + w 1 x n + w 2 x n 2 + … + w m x n m − t n } 2 \begin{equation} E_D(w)=\frac{1}{2} \sum\limits^{N}_{n=1}\{ w_0 + w_1x_n + w_2x_n^2 + \ldots + w_mx_n^m-t_n\}^2 \end{equation} ED​(w)=21​n=1∑N​{w0​+w1​xn​+w2​xn2​+…+wm​xnm​−tn​}2​​
分别对w求导得到：
$$\begin{array}{c}\frac{\partial E_D(w)}{\partial w_i}=\sum _{n=1}^N{x}_n^i(w_0+w_1{x}_n+w_2{x}_n^2+\dots +w_m{x}_n^m-t_n)\end{array}$$
一共有$m+1$个方程和$m+1$个参数，用矩阵或者消元法是可以求解的，但是我们定睛一看，如果我们把${\mathbf{x}}_n=[1,x_n,x_n^2,\dots ,x_n^m{]}^T$看成多元线性回规中的${\mathbf{x}}_n=[1,x_{n1},x_{n2},\dots ,x_{nm}{]}^T$，$\mathbf{w}=[w_0,w_1,\dots ,w_m{]}^T$仍然为多元线性回归中的$w$，那么问题就变成了求解多元线性回归，那么$w$的解就是$\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{t}$，那么这里的$\mathbf{X}$和$\mathbf{t}$分别为
$$\begin{array}{c}\mathbf{X}=\left[\begin{array}{ccccc}1& x_1& x_1^2& \dots & x_1^m\\ 1& x_2& x_2^2& \dots & x_2^m\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_N& x_N^2& \dots & x_N^m\end{array}\right]\end{array}$$
$$\begin{array}{c}\mathbf{t}=\left[\begin{array}{c}{t}_1\\ t_2\\ ⋮\\ t_N\end{array}\right]\end{array}$$
在这里我们也可以直接使用矩阵的形式推导一下参数$\mathbf{w}$的结果，那么$E_D(w)$可以写成:
$$\begin{array}{c}\begin{array}{rl}{E}_D(w)& =(\mathbf{Xw}-\mathbf{t}{)}^T(\mathbf{Xw}-\mathbf{t})\\ & ={\mathbf{w}}^T{\mathbf{X}}^T\mathbf{Xw}-2{\mathbf{t}}^T\mathbf{Xw}+{\mathbf{t}}^T\mathbf{t}\end{array}\end{array}$$
然后，我们可以分别计算这三项关于 $\mathbf{w}$ 的导数：

1. 对于第一项 ${\mathbf{w}}^T{\mathbf{X}}^T\mathbf{Xw}$，我们可以将其看作是 $\mathbf{w}$ 和 ${\mathbf{X}}^T\mathbf{Xw}$ 的点积，它的导数为：

$$\begin{array}{c}\frac{\partial }{\partial \mathbf{w}}{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{Xw}=2{\mathbf{X}}^T\mathbf{Xw}\end{array}$$

2. 对于第二项 $-2{\mathbf{t}}^T\mathbf{Xw}$，它是 $\mathbf{w}$ 的线性函数，它的导数为：

$$\begin{array}{c}\frac{\partial }{\partial \mathbf{w}}-2{\mathbf{t}}^T\mathbf{Xw}=-2{\mathbf{X}}^T\mathbf{t}\end{array}$$

3. 对于第三项 ${\mathbf{t}}^T\mathbf{t}$，它是常数，对 $\mathbf{w}$ 的导数为0。

因此，误差函数 $E_D(w)$ 关于 $\mathbf{w}$ 的梯度为：

$$\begin{array}{c}\nabla E_D(w)=2{\mathbf{X}}^T\mathbf{Xw}-2{\mathbf{X}}^T\mathbf{t}\end{array}$$
最后令$\nabla E_D(w)=0$即可以解得$\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{t}$

3.2正则化

多项式拟合如果多项式的次数偏高，很容易过拟合，我们也可以通过正则化进行求解，其求解过程与多元线性回归相同。
$$\begin{array}{c}{E}_D(w)=(\mathbf{Xw}-\mathbf{t}{)}^T(\mathbf{Xw}-\mathbf{t})\end{array}$$
$$\begin{array}{c}{E}_w(w)=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}\end{array}$$
$$\begin{array}{c}\mathbf{w}=({\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^T\mathbf{t}\end{array}$$

4、代码实现

---

三、Lasso回归

Lasso回归就是多元线性回归加上了$||w||$正则化，在这里我们不再介绍其背景和建模部门，其求解过程在多元线性回归的基础加上了$L_1$正则化，即：
L = R S S ( w ) + E w ( w ) = ( X w − t ) T ( X w − t ) + λ ∣ ∣ w ∣ ∣ 1 = ∑ n = 1 N { t n − w T ϕ ( x n ) } 2 + λ ∣ ∣ w ∣ ∣ 1 \begin{equation} \begin{align*} \mathcal{L} &= RSS(w)+E_w(w) \\ &= (Xw-t)^T(Xw-t)+\lambda||w||_1 \\ &=\sum\limits_{n=1}^{N}\{t_n-w^T\phi (x_n)\}^2+\lambda||w||_1 \end{align*} \end{equation} L​=RSS(w)+Ew​(w)=(Xw−t)T(Xw−t)+λ∣∣w∣∣1​=n=1∑N​{tn​−wTϕ(xn​)}2+λ∣∣w∣∣1​​​​

如果这里用的$MSE$代替$RSS$最后的结果也会差一个系数$N$，这里前面也会经常使用$E_D(w)$，会差一个系数2

1、模型求解

首先看$RSS$部分$RSS$对$w_j$进行求导得：
∇ R S S = − 2 ∑ n = 1 N ϕ j ( x n ) { t n − w T ϕ ( x n ) } = − 2 ∑ n = 1 N ϕ j ( x n ) { t n − ∑ k = 1 m w k ϕ k ( x n ) } = − 2 ∑ n = 1 N ϕ j ( x n ) { t n − ∑ k = 1 , j ≠ k m w k ϕ k ( x n ) − w j ϕ j ( x n ) } = − 2 ∑ n = 1 N ϕ j ( x n ) { t n − ∑ k = 1 , j ≠ k m w k ϕ k ( x n ) } + 2 ∑ n = 1 N w j ϕ j ( x n ) 2 } = − 2 ρ j + 2 w j z j \begin{equation} \begin{align*} \nabla RSS &= -2\sum\limits_{n=1}^{N}\phi_j (x_n)\{t_n-w^T\phi (x_n)\} \\ &= -2\sum\limits_{n=1}^{N}\phi_j (x_n)\{t_n- \sum\limits_{k=1}^{m}w_k\phi_k (x_n)\} \\ &= -2\sum\limits_{n=1}^{N}\phi_j (x_n)\{t_n- \sum\limits_{k=1,j\neq k}^{m}w_k\phi_k (x_n)- w_j\phi_j (x_n)\} \\ &= -2\sum\limits_{n=1}^{N}\phi_j (x_n)\{t_n- \sum\limits_{k=1,j\neq k}^{m}w_k\phi_k (x_n)\}+2 \sum\limits_{n=1}^{N} w_j\phi_j (x_n)^2\} \\ &= -2 \rho_j + 2w_jz_j \end{align*} \end{equation} ∇RSS​=−2n=1∑N​ϕj​(xn​){tn​−wTϕ(xn​)}=−2n=1∑N​ϕj​(xn​){tn​−k=1∑m​wk​ϕk​(xn​)}=−2n=1∑N​ϕj​(xn​){tn​−k=1,j=k∑m​wk​ϕk​(xn​)−wj​ϕj​(xn​)}=−2n=1∑N​ϕj​(xn​){tn​−k=1,j=k∑m​wk​ϕk​(xn​)}+2n=1∑N​wj​ϕj​(xn​)2}=−2ρj​+2wj​zj​​​​
令$\nabla RSS=0$得到$w_j={\rho }_j/z_j$
由于$L_1$是不可导的，我们这里使用$L_1$对$w_j$的次梯度，即：

$$\begin{array}{c}\nabla L_1=\{\begin{array}{rlr}& \lambda ,& w_j>0\\ & [-\lambda ,\lambda ],& w_j=0\\ & -\lambda & w_j<0\end{array}\end{array}$$
将$\nabla RSS$和$\nabla L_1$合起来:
$$\begin{array}{c}\nabla \mathcal{L}=-2{\rho }_j+2w_j{z}_j+\{\begin{array}{rlr}& \lambda ,& w_j>0\\ & [-\lambda ,\lambda ],& w_j=0\\ & -\lambda & w_j<0\end{array}\end{array}$$
$$\begin{array}{c}\nabla \mathcal{L}=\{\begin{array}{rlr}& -2{\rho }_j+2w_j{z}_j+\lambda ,& w_j>0\\ & [-2{\rho }_j-\lambda ,-2{\rho }_j+\lambda ],& w_j=0\\ & -2{\rho }_j+2w_j{z}_j+-\lambda & w_j<0\end{array}\end{array}$$
令$\nabla \mathcal{L}=0$得到$w_j$
$$\begin{array}{c}{w}_j=\{\begin{array}{rlr}& \frac{{\rho }_j-\lambda /2}{z_j},& w_j>0\\ & 0,& w_j=0\\ & \frac{{\rho }_j+\lambda /2}{z_j}& w_j<0\end{array}\end{array}$$

从上面的图可以看出，当$|{\rho }_j|<\frac{\lambda }{2}$时$w_j$会缩水为0，而如果只有$RSS$做为损失的时候，只有${\rho }_j=0$时$w_j$才会为0，因此lasso回归求得参数相比于正常回归对参数进行了裁剪，并且有更多的机会等于0，参数也更为稀疏。
Lasso回归使用坐标下降法更新参数$w$，通过求解上述$w_j$求解其中是的损失下降最大的进行更新，其他$w_k$保持不变，直到收敛。

正则化的几何解释

$L_1$正则化也可以写成有约束的形式：
$$\begin{array}{c}\begin{array}{rlrl}& \underset{w}{\mathrm{minimize}}& & \frac{1}{2}(Xw-t{)}^T(Xw-t)\\ & \text{subject to}& & ||w|{|}_1\le ϵ\end{array}\end{array}$$
假设 w = { w 1 , w 2 } w=\{w_1,w_2\} w={w1​,w2​}是一个二维的参数，那么我们可以在平面坐标上表示出$w$的可行域与目标。
首先我们了解一下二次型图像的概念，目标函数是一个二次型$(Xw-t{)}^T(Xw-t)=w^T{X}^{T}Xw-2t^{T}Xw+w^{T}w=loss$，那么圆锥曲线3种可能：椭圆、抛物线、双曲线

• 如果$det(X^{T}X)>0$，那么目标函数对应的是椭圆
• 如果$det(X^{T}X)=0$，那么目标函数对应的是抛物线
  如果数据$X$的变量之间存在多重共线性，那么$det(X^{T}X)=0$，但是我们假设变量之间不存在多重共线性，所以目标函数是椭圆曲线，接着我们只要画出可行域，找到椭圆曲线与可行域的顶点相交或相切即为最优值。

我们将$L_1$范数进行变形：
$$\begin{array}{c}\Vert \left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]\Vert =||w_1||+||w_2||\le ϵ\end{array}$$
$$\begin{array}{c}\{\begin{array}{ll}{w}_1+w_2\le ϵ,& w_1\ge 0,w_2\ge 0\\ w_1-w_2\le ϵ,& w_1\ge 0,w_2<0\\ -w_1+w_2\le ϵ,& w_1<0,w_2\ge 0\\ -w_1-w_2\le ϵ,& w_1<0,w_2<0\end{array}\end{array}$$
由此可见$L_1$范数的可行域是一个封闭的正方形，其顶点都落在坐标轴上。我们同样也可以画出1/2范数、2范数、4范数和无穷范数的可行域，那么可行域与目标曲线如下图所示：

从图中可以发现，$L_1$范数更容易比$L_2$范数交于角点，这也更容易让$w$取到等于0的值，从而解释了$L_1$范数得到的参数更为稀疏。

---

四、岭回归

岭回归
归就是多元线性回归加上了$||w|{|}^2$正则化，求解过程参考第一张的3.3.1节

---

参考

1. Bishop C M, Nasrabadi N M. Pattern recognition and machine learning[M]. New York: springer, 2006.