高数篇（三）-- 最小二乘法、正则化

        下面先以一元线性回归为例推导出一元线性回归方程，然后再推导出更一般化的线性回归方程，在推导的过程中采取两种不同的方式：一是从样本数据出发，二是从统计理论着手。最后我们会发现，采用两种不同的方式最后推导出的线性回归模型的损失函数都会殊途同归。线性回归简单点讲就是对已知的样本数据进行最优拟合，然后通过拟合出的线性回归方程进行预测。

1 线性回归

1.1 一元线性回归

        我们最早接触的一元线性回归方程，只包含两个参数 $\alpha$ 和 $\beta$，然后直接套公式即可进行预测，现在完整的推导出一元线性回归方程。设一元线性回归方程为 $\hat{y}=\alpha x+\beta$ ，数据集为($x_1$,$y_1$)，($x_2$,$y_2$)，$\dots$ ，($x_n$,$y_n$)，要使得这 $n$ 个样本点落在在一元线性回归方程附近，不妨假设误差为 $\epsilon$，使得每个样本点都落在一元线性回归方程上。因此有 $\widehat{y_i}=y_i+{\epsilon }_i$ 恒成立，所以，回归直线应满足的条件是：全部观测值与对应的回归估计值的误差平方和最小，即：

$$\begin{array}{rl}{\mathrm{argmin}}_{\alpha ,\beta }\sum _{i=1}^n{\epsilon }_i^2& ={\mathrm{argmin}}_{\alpha ,\beta }\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\\ & ={\mathrm{argmin}}_{\alpha ,\beta }\sum _{i=1}^n(y_i-\alpha x_i-\beta {)}^2\end{array}\text{\hspace{1em}(1-1)}$$
        令 $L(\alpha ,\beta )=\sum _{i=1}^n(y_i-\alpha x_i-\beta {)}^2$ 原问题就转化为求二元函数的极小值，由微积分相关知识可知
$$\begin{array}{rl}\frac{\partial L(\alpha ,\beta )}{\partial \alpha }& =-2\sum _{i=1}^n(y_i-\alpha x_i-\beta )x_i\\ & =-2\sum _{i=1}^n{x}_i{y}_i+2\alpha \sum _{i=1}^n{x}_i^2+2\beta \sum _{i=1}^n{x}_i\\ \frac{\partial L(\alpha ,\beta )}{\partial \beta }& =-2\sum _{i=1}^n(y_i-\alpha x_i-\beta )\\ & =-2\sum _{i=1}^n{y}_i+2\alpha \sum _{i=1}^n{x}_i+2n\beta \end{array}\text{\hspace{1em}(1-2)}$$
        然后令 $\frac{\partial L(\alpha ,\beta )}{\partial \alpha }=0和\frac{\partial J(\alpha ,\beta )}{\partial \beta }=0$即可求出$\alpha 、\beta$的值
$$\begin{array}{rl}\frac{\partial L(\alpha ,\beta )}{\partial \beta }& =0\\ \Rightarrow \sum _{i=1}^n{y}_i& =\alpha \sum _{i=1}^n{x}_i+n\beta \\ \Rightarrow \bar{y}& =\alpha \bar{x}+\beta \end{array}\text{\hspace{1em}(1-3)}$$
$$\begin{array}{rl}\frac{\partial L(\alpha ,\beta )}{\partial \alpha }& =0\\ \Rightarrow \sum _{i=1}^n{x}_i{y}_i& =\alpha \sum _{i=1}^n{x}_i^2+\beta \sum _{i=1}^n{x}_i\\ \Rightarrow \alpha & =\frac{\sum _{i=1}^n(x_i{y}_i-\bar{y}{x}_i)}{\sum _{i=1}^n(x_i^2-\bar{x}{x}_i)}=\frac{\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}(\sum _{i=1}^n{x}_i)(\sum _{i=1}^n{y}_i)}{\sum _{i=1}^n{x}_i^2-\frac{1}{n}(\sum _{i=1}^n{x}_i)(\sum _{i=1}^n{x}_i)}\\ & =\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\end{array}\text{\hspace{1em}(1-4)}$$
        根据：
$$\begin{array}{rl}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})& =\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}(\sum _{i=1}^n{x}_i)(\sum _{i=1}^n{y}_i)\\ \sum _{i=1}^n(x_i-\bar{x}{)}^2& =\sum _{i=1}^n{x}_i^2-\frac{1}{n}(\sum _{i=1}^n{x}_i)(\sum _{i=1}^n{x}_i)\end{array}\text{\hspace{1em}(1-5)}$$
        至此，一元线性回归方程就拟合出来了，上面的这些公式推导看起来很复杂其实如果引入矩阵表示，最后的结果将会很简洁。

1.2 一般化的线性回归

        此时，假设数据集为：
$$Data：\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}{x}_i\in {\mathbb{R}}^p,y_i\in \mathbb{R},i=1,2,\cdots ,N\text{\hspace{1em}(1-6)}$$
        分别用矩阵表示：
$$X=[x_1,x_2,\cdots ,x_N{]}_{N\times p}^T={\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right]}_{N\times p}={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Np}\end{array}\right]}_{N\times p}\text{\hspace{1em}(1-7)}$$

$$Y={\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)}_{N\times 1}\text{\hspace{1em}(1-8)}$$

        上面数据矩阵的解释：数据 $X$ 中有 $N$ 个样本，每个样本 $x_i$ 为 $p$ 维数据（含有 $p$ 个feature），数据 $Y$ 表示有 $N$ 个输出，即每个样本对应一个输出（可以理解为对每个样本的标签）

        后面我们记：
$$X=(x_1,x_2,\cdots ,x_N{)}^T，Y=(y_1,y_2,\cdots ,y_N{)}^T\text{\hspace{1em}(1-9)}$$

        定义假设函数为 $f(x;w)$，即 $f(x;w)$ 为最终的拟合函数，$w$ 为待拟合参数也称作权重。则第 $i$ 个样本的输出模型为：

$$\begin{array}{rl}f(x_i;w)& =w_0+w_1{x}_{i1}+\cdots +w_p{x}_{ip}\\ & =\left[\begin{array}{cccc}{w}_0,& w_1,& \cdots ,& w_p\end{array}\right]\left[\begin{array}{c}1\\ x_{i1}\\ ⋮\\ x_{ip}\end{array}\right]\\ & =w^T{x}_i\end{array}\text{\hspace{1em}(1-10)}$$

        此时这里，为了书写方便，在 $x_i$ 中增加一个 $x_{i0}=1$。

        在样本数据中 $y_i$ 是实际存在值而 $f(x_i;w)$ 对应的是模型预测值，显然如果想要模型预测的效果好，那么对应的误差就要小，假设函数在任意样本点的误差为 $|f(x_i;w)-y_i|$，则 $N$ 个样本点的误差和为 $\sum _{i=1}^N|f(x_i;w)-y_i|$，因此问题就转化为求解 $\begin{array}{r}{\mathrm{argmin}}_{\mathbf{w}}\sum _{i=1}^N|f(x_i;w)-y_i|\end{array}$，为了后续求解最优值(绝对值函数不好求导)，所以损失函数采用了误差平方和的形式 $\begin{array}{r}{\mathrm{argmin}}_{\mathbf{w}}\sum _{i=1}^N(f(x_i;w)-y_i{)}^2\end{array}$。

1.3 最小二乘法的矩阵表达

        令损失函数为 $L(w)$，并写成二范数的形式，可以得到：
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N(f(x_i;w)-y_i{)}^2\\ & =\sum _{i=1}^N(w^T{x}_i-y_i{)}^2\\ & =\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2\end{array}\text{\hspace{1em}(1-11)}$$

        展开可以得到：
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N(w^T{x}_i-y_i{)}^2\\ & =\left(\begin{array}{cccc}{w}^T{x}_1-y_1& w^T{x}_2-y_2& \cdots & w^T{x}_N-y_N\end{array}\right)\left(\begin{array}{c}(w^T{x}_1-y_1{)}^T\\ (w^T{x}_2-y_2{)}^T\\ ⋮\\ (w^T{x}_N-y_N{)}^T\end{array}\right)\\ & =[w^T\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\end{array}\right)-\left(\begin{array}{cccc}{y}_1& y_2& \cdots & y_N\end{array}\right)]\left(\begin{array}{c}{x}_1^{T}w-y_1^T\\ x_2^{T}w-y_2^T\\ ⋮\\ x_N^{T}w-y_N^T\end{array}\right)\\ & =({\mathbf{w}}^T{X}^T-Y^T)(\mathbf{Xw}-Y)\\ & ={\mathbf{w}}^T{X}^T\mathbf{Xw}-{\mathbf{w}}^T{X}^{T}Y-Y^T\mathbf{Xw}+Y^{T}Y\\ & ={\mathbf{w}}^T{X}^T\mathbf{Xw}-2{\mathbf{w}}^T{X}^{T}Y+Y^{T}Y\end{array}\text{\hspace{1em}(1-12)}$$

        上面的推导中，由于 $w^T{x}_1-y_1$ 和 $w^T{X}^{T}Y$ 都是一个数，所以转置前后相等。

        接下来通过对 $w$ 求导就可以解得参数 $w$：
$$\begin{gathered} \frac{\partial L(w)}{\partial w}=2X^T\mathbf{Xw}-2X^{T}Y=0 \\ w=\underset{{\mathbf{X}}^{+}，伪逆}{\underbrace{(X^{T}X{)}^{-1}{X}^T}}Y\text{\hspace{1em}(1-13)} \end{gathered}$$

        这个式子中 $(X^{T}X{)}^{-1}{X}^T$ 又被称为伪逆。 对于行满秩或者列满秩的 $X$，可以直接求解，但是对于非满秩的样本集合，需要使用奇异值分解（SVD）的方法，对 $X$ 求奇异值分解，得到
$$X=U\Sigma V^T\text{\hspace{1em}(1-14)}$$
        于是：
$$X^{+}=V{\Sigma }^{-1}{U}^T\text{\hspace{1em}(1-15)}$$

1.4 最小二乘法的几何意义

1. 每个样本点的误差的总和
        使用最小二乘法可以看做损失函数是每个样本的误差的总和，即每一个点对应的 $y_i$ 与其在 $f(x_i;w)$ 上所对应的点 $w^T{x}_i$ 之间的差值便是误差，如下图所示：

        因此将所有点的误差求和 $\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2$ ，使得其最小，便可求得最优的回归函数。

2. 几何角度
        在几何上，最小二乘法相当于模型和试验值（这里就是向量 $Y$）的距离的平方求和，假设我们的试验样本张成一个 $p$ 维空间（满秩的情况），即：
$$\begin{array}{rl}{X}_{N\times p}{w}_{p\times 1}& =\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{NP}\end{array}\right)\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_p\end{array}\right)\\ & =\left(\begin{array}{c}{x}_{11}{w}_1+x_{12}{w}_2+\cdots +x_{1p}{w}_p\\ x_{21}{w}_1+x_{22}{w}_2+\cdots +x_{2p}{w}_p\\ ⋮\\ x_{N1}{w}_1+x_{N2}{w}_2+\cdots +x_{Np}{w}_p\end{array}\right)\\ & =\left(\begin{array}{c}{w}_1\left(\begin{array}{c}{x}_{11}\\ x_{21}\\ ⋮\\ x_{N1}\end{array}\right)+w_2\left(\begin{array}{c}{x}_{12}\\ x_{22}\\ ⋮\\ x_{N2}\end{array}\right)+\cdots +w_p\left(\begin{array}{c}{x}_{1p}\\ x_{2p}\\ ⋮\\ x_{Np}\end{array}\right)\end{array}\right)\end{array}\text{\hspace{1em}(1-16)}$$

        而模型可以写成 $\hat{Y}=\mathbf{Xw}$，也就是 $X$ 中列向量的某种组合，而最小二乘法就是说希望 $Y$ 和这个模型距离越小越好，于是它们的差应该与这个张成的空间垂直：
$$X^T\cdot (Y-\mathbf{Xw})=0⟶w=(X^{T}X{)}^{-1}{X}^{T}Y\text{\hspace{1em}(1-17)}$$

        一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。确定方程 $Ax=b$ 是否有解，相当于确定向量 $b$ 是否在 $A$ 列向量的生成子空间中。这个特殊的生成子空间被称为 $A$ 的列空间（column space）或者 $A$ 的值域（range）。

1.5 概率视角-高斯噪声-最大似然估计法

        从统计理论上进行解释，实际值与估计值总会存在误差，所以 对于给定的 $y_i$ 总能找到 ${\epsilon }_i$ 使得这个等式成立 $y_i=f(x_i;w)+{\epsilon }_i$，${\epsilon }_i$ 代表真实值和预测值之间的误差且 ${\epsilon }_i\sim N(0,{\sigma }^2)$，由于这里在计算 $y_i$ 的时候，给定了$x_i$ 和一组 $w$， 因此 $w^T{x}_i$ 可以看做常数，则 $y_i|x_i;w\sim N(w^T{x}_i,{\sigma }^2)$，即 $p(y_i|x_i;w)=\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}\right\}$

        这里的 $p(y_i|x_i;w)$ 并不代表条件概率密度函数，只是一个记号它表示给定 $x_i,y_i$ 和一组 $w$ 后的概率密度函数。

        可以使用最大似然估计法（MLE）来进行求解：

L ( w ) = ∏ i = 1 N p ( y i ∣ x i ; w ) = ∏ i = 1 N 1 2 π σ e x p { − ( y i − w T x i ) 2 2 σ 2 } (1-18) \begin{aligned} L(\pmb{w})&=\prod\limits_{i=1}^Np(y_{i}|\pmb{x}_{i};\pmb{w})\\ &=\prod\limits_{i=1}^N\frac{1}{\sqrt{2\pi}\sigma} exp\{-\dfrac{(y_i-\pmb{w}^{T}\pmb{x}_i)^{2}}{2\sigma ^{2}}\} \end{aligned} \tag{1-18} L(w)​=i=1∏N​p(yi​∣xi​;w)=i=1∏N​2π ​σ1​exp{−2σ2(yi​−wTxi​)2​}​(1-18)
        对$L(\theta )$取对数从而得到对数化最大似然估计函数
L ( w ) = l n ( L ( w ) ) = l n ∏ i = 1 N 1 2 π σ e x p { − ( y i − w T x i ) 2 2 σ 2 } = ∑ i = 1 N l n 1 2 π σ e x p { − ( y i − w T x i ) 2 2 σ 2 } = N l n 1 2 π σ − 1 2 σ 2 ∑ i = 1 m ( y i − w T x i ) 2 (1-19) \begin{aligned} L(\pmb{w}) &= \mathcal ln(L(\pmb{w})) \\ &=\mathcal ln \prod\limits_{i=1}^N\frac{1}{\sqrt{2\pi}\sigma} exp\{-\dfrac{(y_i-\pmb{w}^{T}\pmb{x}_i)^{2}}{2\sigma ^{2}}\}\\ &=\sum\limits_{i=1}^N \mathcal ln \frac{1}{\sqrt{2\pi}\sigma}exp\{-\dfrac{(y_i-\pmb{w}^{T}\pmb{x}_i)^{2}}{2\sigma ^{2}}\}\\ &=N \mathcal ln \frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{2\sigma^2}\sum\limits_{i=1}^m(y_i-\pmb{w}^{T}\pmb{x}_i)^{2} \end{aligned} \tag{1-19} L(w)​=ln(L(w))=lni=1∏N​2π ​σ1​exp{−2σ2(yi​−wTxi​)2​}=i=1∑N​ln2π ​σ1​exp{−2σ2(yi​−wTxi​)2​}=Nln2π ​σ1​−2σ21​i=1∑m​(yi​−wTxi​)2​(1-19)
        求解最大化对数似然函数可得：
$$\begin{array}{rl}{\mathrm{argmax}}_{\mathbf{w}}L(w)& \iff {\mathrm{argmax}}_{\mathbf{w}}L(w)\\ & \iff {\mathrm{argmax}}_{\mathbf{w}}\left\{Nln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\right\}\\ & \iff {\mathrm{argmax}}_{\mathbf{w}}-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\\ & \iff {\mathrm{argmin}}_{\mathbf{w}}\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\\ & \iff {\mathrm{argmin}}_{\mathbf{w}}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\\ & \iff {\mathrm{argmin}}_{\mathbf{w}}\sum _{i=1}^N(f(x_i;w)-y_i{)}^2\end{array}\text{\hspace{1em}(1-20)}$$

        可以发现两种方法推导出的损失函数都是一样的，因此从概率角度用最大似然估计法MLE求解与用最小二乘法LSE的本质一样。也因此可以得出，最小二乘估计隐含了一个噪声服从正态分布的假设，即最小二乘法与噪声为高斯噪声时的最大似然估计法是等价的。

        简单解释下为什么误差 ${\epsilon }_i$ 会服从均值为零的正态分布，误差的产生有很多种因素的影响，误差可以看作是这些因素（随机变量）之和共同作用而产生的，由中心极限定理可知随机变量和的分布近似的服从正态分布；更通俗易懂的解释是，当你在选择 $f(x;w)$ 时主观的会认定这个 $f(x;w)$ 是比较符合样本数据的，比如对一些样本数据可视化后，发现样本数据明显是趋近于一条直线，而你在对 $f(x;w)$ 的选择上肯定会选择直线方程作为 $f(x;w)$ 而不会选择多项式函数作为 $f(x;w)$ 。而这种 $f(x;w)$ 一旦选定，可以认为大部分数据都在 $f(x;w)$ 的附近，因此误差大部分集中在零值附近所以 $N(0,{\sigma }^2)$ 作为${\epsilon }_i$ 的先验分布是比较合理的。

---

2 正则化

1. 高维小样本问题
           在实际应用时，当样本数 $N$ 远大于维度 $p$ 时，则 $X^{T}X$ 可逆；而当出现高维小样本的情况，即维度 $p$ 大于样本数 $N$ 时，$X^{T}X$ 就不可逆，导致不能求出 $\hat{w}$ 的解析解，这种时候也很容易出现过拟合的情况，因为少量样本去学习多个特征（假设1个数据点去做回归，有无数种回归方式，无论哪一种都会拟合）。

2. 处理过拟合的方法

        面对上述过拟合的现象有一些解决方案，主要有：

• 增加数据量
• 特征选择/特征提取：特征选择指的是根据某种规则去掉一些特征来实现降维；特征提取的方法例如主成分分析（PCA），也是实现降维；
• 正则化：指给损失函数添加惩罚项来避免过拟合。

4. 正则化的方法
           正则化一般是在损失函数（如上面介绍的最小二乘损失）上加入正则化项（表示模型的复杂度对模型的惩罚），下面我们介绍一般情况下的两种正则化框架。

$$\begin{array}{rl}L1& :\underset{\mathbf{w}}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_1,\lambda >0\\ L2& :\underset{\mathbf{w}}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_2^2,\lambda >0\end{array}\text{\hspace{1em}(2-1)}$$
        $L1$ 正则化，即对参数 $w$ 加上 $L1$ 范数约束；$L2$ 正则化，即对参数 $w$ 加上 $L2$ 范数的平方约束。

2.1 L1-Lasso

2.1.1 L1正则化求解参数

        L1正则化（Lasso）可以引起稀疏解。从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

        从另一个方面看，L1 正则化相当于：

$$\begin{gathered} \underset{\mathbf{w}}{\mathrm{argmin}}L(w) \\ s.t.||w|{|}_1<C\text{\hspace{1em}(2-2)} \end{gathered}$$
        我们已经看到平方误差损失函数在 $\mathbf{w}$ 空间是一个椭球，因此上式求解就是椭球和 $||\mathbf{w}|{|}_1=C$的切点，因此更容易相切在坐标轴上。

2.1.2 L1正则化的概率解释

        贝叶斯学派认为参数 $w$ 也是服从某种概率分布的，即先给定 $w$ 的先验分布为 $p(w)$，然后根据贝叶斯定理，$P(w|Y)=\frac{P(Y|w)P(w)}{P(Y)}\sim P(Y|w)P(w)$ (这里的 $Y$ 指 $Y|X$，为书写简单而省略，代表给定的 $X$ 对应相关的 $Y$。)，因此通过最大似然估计可求参数 $w$。
arg ⁡ max ⁡ w   J ( w ) = ∏ i = 1 N { p ( y i ∣ x i ; w ) p ( w ) } (2-3) \mathop{\arg\max}\limits_{\boldsymbol{w}}\ J(\boldsymbol{w})=\prod_{i=1}^{N} \mathcal {\{p(y_i|\pmb{x}_i;\pmb{w})p(\pmb{w}) \}} \tag{2-3} wargmax​ J(w)=i=1∏N​{p(yi​∣xi​;w)p(w)}(2-3)
        等价于求解对数化最大似然函数 $w$
$$\begin{array}{rl}\underset{\mathbf{w}}{\mathrm{argmax}}J(\mathbf{w})& =ln(J(\mathbf{w}))\\ & =\sum _{i=1}^{N}ln(p(y_i|x_i;w))+\sum _{i=1}^{m}ln(p(w))\\ & \\ \iff \underset{\mathbf{w}}{\mathrm{argmin}}-J(\mathbf{w})& =-ln(J(\mathbf{w}))\\ & =-\sum _{i=1}^{N}ln(p(y_i|x_i;w))-\sum _{i=1}^{N}ln(p(w))\\ & =L(\mathbf{w})-\sum _{i=1}^{N}ln(p(w))\end{array}\text{\hspace{1em}(2-4)}$$

        假设 $w$ 服从的先验分布为均值为 $0$ 参数为 $\lambda$ 的拉普拉斯分布，即 $w\sim La(0,\lambda )$ 其中，$p(w)=\frac{1}{2\lambda }{e}^{-\frac{{\Vert \mathbf{w}\Vert }_1}{\lambda }}$。因此，上述优化函数可转换为：
$$\begin{array}{rl}& \underset{\mathbf{w}}{\mathrm{argmin}}L(\mathbf{w})-\sum _{i=1}^{N}ln(p(w))\\ & =L(\mathbf{w})-\sum _{i=1}^N\log \frac{1}{2\lambda }{e}^{-\frac{{\Vert \mathbf{w}\Vert }_1}{\lambda }}\\ & =L(\mathbf{w})-\sum _{i=1}^N\log \frac{1}{2\lambda }+\frac{1}{\lambda }\sum _{i=1}^N{\Vert \mathbf{w}\Vert }_1\\ & \iff \underset{\mathbf{w}}{\mathrm{argmin}}L(\mathbf{w})+\lambda {\Vert \mathbf{w}\Vert }_1\end{array}\text{\hspace{1em}(2-5)}$$
        从上面的数学推导可以看出，$L1$正则化可以看成是：通过假设权重参数 $w$ 的先验分布为拉普拉斯分布，由最大后验概率MAP估计导出。​

2.2 L2-Ridge

2.2.1 L2正则化求解参数

        L2正则化（也叫岭回归、权重衰减）

$$\begin{array}{rl}J(w)& =L(w)+\lambda ||w|{|}_2^2\\ & =(w^T{X}^T-Y^T)(Xw-Y)+\lambda w^{T}w\\ & =w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y^{T}Y+\lambda w^{T}w\\ & =w^T(X^{T}X+\lambda I)w-2w^T{X}^{T}Y+Y^{T}Y\end{array}\text{\hspace{1em}(2-6)}$$
        优化目标为：
$$\hat{w}=\underset{\mathbf{w}}{\mathrm{argmin}}J(w)\text{\hspace{1em}(2-7)}$$
        求偏导：
$$\begin{gathered} \frac{\partial J(w)}{\partial w}=2(X^{T}X+\lambda I)w-2X^{T}Y=0 \\ \hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y\text{\hspace{1em}(2-8)} \end{gathered}$$

        半正定矩阵 $X^{T}X$ 加上对角矩阵 $\lambda I$ 一定是可逆的，可以解决 $X^{T}X$ 可能不可逆带来的问题。从数学角度上看，使得其可逆；从直观角度来看，抑制了过拟合的可能性。

2.2.2 L2正则化的概率解释

思路一：
        假设 $w$ 服从的先验分布为均值为 $0$ 方差为 ${\sigma }_0^2$ 的正态分布，即 $w\sim N(0,{\sigma }_0^2)$ 其中，$p(w)=\frac{1}{\sqrt{2\pi }{\sigma }_0}exp\left\{-\frac{{\Vert \mathbf{w}\Vert }_2^2}{2{\sigma }_0^2}\right\}$。因此，上述优化函数可转换为：

$$\begin{array}{rl}& \underset{\mathbf{w}}{\mathrm{argmin}}L(w)-\sum _{i=1}^{N}ln(p(w))\\ & =L(w)-\sum _{i=1}^{N}ln\frac{1}{\sqrt{2\pi }{\sigma }_0}exp\left\{-\frac{{\Vert \mathbf{w}\Vert }_2^2}{2{\sigma }_0^2}\right\}\\ & =L(w)-\sum _{i=1}^{N}ln\frac{1}{\sqrt{2\pi }{\sigma }_0}+\frac{1}{2{\sigma }_0^2}\sum _{i=1}^N{\Vert \mathbf{w}\Vert }_2^2\\ & \iff \underset{\mathbf{w}}{\mathrm{argmin}}L(w)+\lambda {\Vert \mathbf{w}\Vert }_2^2\end{array}\text{\hspace{1em}(2-9)}$$

思路二：
        由1.4小节的概率视角-高斯噪声-最大似然估计法可知，实际值与估计值之间的差是一个高斯噪声，即 $y$ 和 $f(x;w)$ 满足关系：
$$\begin{gathered} y=f(x;w)+\epsilon =w^{T}x+\epsilon \\ 其中\epsilon 是高斯噪声，满足\epsilon \sim N(0,{\sigma }^2)\text{\hspace{1em}(2-10)} \end{gathered}$$
        因此 $y|x;w\sim N(w^{T}x,{\sigma }^2)$，即 $p(y|x;w)=\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(y-w^{T}x{)}^2}{2{\sigma }^2}\right\}$

        后验概率为 $P(w|Y)=\frac{P(Y|w)P(w)}{P(Y)}\sim P(Y|w)P(w)$ (这里的 $Y$ 指 $Y|X$，为书写简单而省略，代表给定的 $X$ 对应相关的 $Y$。)

w ^ = a r g m a x w    p ( Y ∣ w ) p ( w ) p ( Y ) = a r g m a x w    p ( Y ∣ w ) p ( w ) = a r g m a x w    l n { p ( Y ∣ w ) p ( w ) } = a r g m a x w    l n ∏ i = 1 N { p ( y i ∣ w ) p ( w ) } = a r g m a x w    ∑ i = 1 N l n { p ( y i ∣ w ) p ( w ) } = a r g m a x w    ∑ i = 1 N l n { 1 2 π σ exp ⁡ { − ( y − w T x ) 2 2 σ 2 } 1 2 π σ 0 exp ⁡ { − ∥ w ∥ 2 2 σ 0 2 } } = a r g m a x w ∑ i = 1 N { l n ( 1 2 π σ 1 2 π σ 0 ) − ( y − w T x ) 2 2 σ 2 − ∥ w ∥ 2 2 σ 0 2 } = a r g m a x w    ∑ i = 1 N { − ( y − w T x ) 2 2 σ 2 − ∥ w ∥ 2 2 σ 0 2 } = a r g m i n w    ∑ i = 1 N { ( y − w T x ) 2 2 σ 2 + ∥ w ∥ 2 2 σ 0 2 } = a r g m i n w    ∑ i = 1 N { ( y − w T x ) 2 + σ 2 σ 0 2 ∥ w ∥ 2 } = a r g m i n w    ∑ i = 1 N { ( y i − w T x i ) 2 ⏟ L S E + σ 2 σ 0 2 ⏟ λ ∥ w ∥ 2 } (2-11) \begin{aligned} \hat{\pmb{w}} &= arg\underset{\boldsymbol{w}}{max}\ \ {p(\pmb{Y}|\pmb{w})p(\pmb{w})\over p(\pmb{Y})}\\ &=arg\underset{\boldsymbol{w}}{max}\ \ p(\pmb{Y}|\pmb{w})p(\pmb{w})\\ &=arg\underset{\boldsymbol{w}}{max}\ \ \mathcal ln{\{p(\pmb{Y}|\pmb{w})p(\pmb{w}) \}}\\ &=arg\underset{\boldsymbol{w}}{max}\ \ \mathcal ln \prod_{i=1}^{N}{\{p(y_i|\pmb{w})p(\pmb{w}) \}}\\ &=arg\underset{\boldsymbol{w}}{max}\ \ \sum_{i=1}^{N}\mathcal ln{\{p(y_i|\pmb{w})p(\pmb{w}) \}}\\ &=arg\underset{\boldsymbol{w}}{max}\ \ \sum_{i=1}^{N} \mathcal ln {\{{1\over\sqrt{2\pi}\sigma}\exp{\{-{(y-\pmb{w}^T\pmb{x})^2\over2\sigma^2}\}}{1\over\sqrt{2\pi}\sigma_0}\exp{\{-{\Vert \pmb{w}\Vert^2\over2\sigma_0^2}\}}\}}\\ &=arg\underset{\boldsymbol{w}}{max} \sum_{i=1}^{N} \{\mathcal ln {({1\over\sqrt{2\pi}\sigma}{1\over\sqrt{2\pi}\sigma_0})}-{(y-\pmb{w}^T\pmb{x})^2\over2\sigma^2}-{\Vert \pmb{w}\Vert^2\over2\sigma_0^2}\}\\ &=arg\underset{\boldsymbol{w}}{max}\ \ \sum_{i=1}^{N} \{-{(y-\pmb{w}^T\pmb{x})^2\over2\sigma^2}-{\Vert \pmb{w}\Vert^2\over2\sigma_0^2}\}\\ &=arg\underset{\boldsymbol{w}}{min}\ \ \sum_{i=1}^{N} \{{(y-\pmb{w}^T\pmb{x})^2\over2\sigma^2}+{\Vert \pmb{w}\Vert^2\over2\sigma_0^2}\}\\ &=arg\underset{\boldsymbol{w}}{min}\ \ \sum_{i=1}^{N} \{(y-\pmb{w}^T\pmb{x})^2+{\sigma^2\over \sigma^2_0}\Vert \pmb{w} \Vert ^2 \}\\ &=arg\underset{\boldsymbol{w}}{min}\ \ \sum_{i=1}^{N} \{ \underset{LSE}{ \underbrace{(y_i-\pmb{w}^T\pmb{x}_i)^2}}+\underset{\lambda}{\underbrace{\sigma^2\over \sigma^2_0}}\Vert \pmb{w} \Vert ^2\}\\ \end{aligned}\tag{2-11} w^​=argwmax​  p(Y)p(Y∣w)p(w)​=argwmax​  p(Y∣w)p(w)=argwmax​  ln{p(Y∣w)p(w)}=argwmax​  lni=1∏N​{p(yi​∣w)p(w)}=argwmax​  i=1∑N​ln{p(yi​∣w)p(w)}=argwmax​  i=1∑N​ln{2π ​σ1​exp{−2σ2(y−wTx)2​}2π ​σ0​1​exp{−2σ02​∥w∥2​}}=argwmax​i=1∑N​{ln(2π ​σ1​2π ​σ0​1​)−2σ2(y−wTx)2​−2σ02​∥w∥2​}=argwmax​  i=1∑N​{−2σ2(y−wTx)2​−2σ02​∥w∥2​}=argwmin​  i=1∑N​{2σ2(y−wTx)2​+2σ02​∥w∥2​}=argwmin​  i=1∑N​{(y−wTx)2+σ02​σ2​∥w∥2}=argwmin​  i=1∑N​{LSE (yi​−wTxi​)2​​+λ σ02​σ2​​​∥w∥2}​(2-11)

        可以看到，这个最大后验估计MAP的结果和前面正则化参数不谋而合，即加入了正则项的最小二乘估计与包含服从高斯分布的噪声和最大似然估计MAP推导的结果是等价的。利用2范数进行正则化不仅可以使模型选择 $w$ 较小的参数，同时也避免 $X^{T}X$ 不可逆的问题。

        最大后验估计MAP为贝叶斯学派常用的参数估计方法，他们认为模型参数服从某种潜在分布。其首先对参数有一个预先估计，然后根据所给数据对预估计进行不断调整，因此同一事件，先验不同则事件状态不同。先验假设较为靠谱时有显著的效果，当数据较少时，先验对模型的参数有主导作用，随着数据的增加，真实数据样例将占据主导地位

---

小结

        线性回归模型是最简单的模型，但是麻雀虽小，五脏俱全，在这里，我们利用最小二乘误差得到了闭式解。同时也发现，在噪声为高斯分布的时候，MLE的解等价于最小二乘误差，而增加了正则项后，最小二乘误差加上 L2 正则项等价于高斯噪声先验下的MAP解，加上 L1 正则项后，等价于Laplace噪声先验。

        传统的机器学习方法或多或少都有线性回归模型的影子：

1. 线性模型往往不能很好地拟合数据，因此有三种方案克服这一劣势：
   • 对特征的维数进行变换，例如多项式回归模型就是在线性特征的基础上加入高次项。
   • 在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数，典型的有线性分类模型如感知机。
   • 对于一致的线性系数，我们进行多次变换，这样同一个特征不仅仅被单个系数影响，例如多层感知机（深度前馈网络）。
2. 线性回归在整个样本空间都是线性的，我们修改这个限制，在不同区域引入不同的线性或非线性，例如线性样条回归和决策树模型。
3. 线性回归中使用了所有的样本，但是对数据预先进行加工学习的效果可能更好（所谓的维数灾难，高维度数据更难学习），例如 PCA 算法和流形学习。

---

参考

• 线性回归与最小二乘法：https://zhuanlan.zhihu.com/p/36910496
• 机器学习-白板推导系列(三)-线性回归（Linear Regression） 笔记：https://zhuanlan.zhihu.com/p/300703196
• 机器学习-白板推导系列笔记（三）-线性回归：https://blog.csdn.net/qq_41485273/article/details/111770798
• L1和L2正则化的概率解释：https://zhuanlan.zhihu.com/p/56185913
• 机器学习白板系列：https://github.com/tsyw/MachineLearningNotes