机器学习-白板推导系列(三)-线性回归

最新推荐文章于 2022-11-06 00:15:31 发布

Paul-Huang

最新推荐文章于 2022-11-06 00:15:31 发布

阅读量339

点赞数 2

分类专栏：机器学习-白板推导文章标签：机器学习正则化

本文链接：https://blog.csdn.net/huang1024rui/article/details/112368919

版权

机器学习-白板推导专栏收录该内容

23 篇文章 45 订阅

订阅专栏

3. 线性回归

本章内容：
1、最小二乘法（矩阵表达与几何意义）
2、概率角度： $最小二乘法\Leftrightarrow noise为Gaussian 的 MLE（最大似然估计）$
3、正则化
$\begin{cases} L1 \rightarrow Lasso\\ L2 \rightarrow Ridge(岭回归)\\ \end{cases}$
数据如下：
$D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{N},y_{N})\right \}, x_{i}\in \mathbb{R}^{p},y_{i}\in \mathbb{R},i=1,2,\cdots ,N$
$X=(x_{1},x_{1},\cdots ,x_{N})^{T}=\begin{pmatrix} x_{1}^{T}\\ x_{2}^{T}\\ \vdots \\ x_{N}^{T} \end{pmatrix}=\begin{pmatrix} x_{11} & x_{12} & \cdots &x_{1p} \\ x_{21} & x_{22}& \cdots &x_{2p} \\ \vdots & \vdots & \ddots &\vdots \\ x_{N1}& x_{N2} & \cdots & x_{Np} \end{pmatrix}_{N \times p}$
$Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{N} \end{pmatrix}_{N \times 1}$

这些数据符合下图关系（以一维数据为例），这里的函数 $f(w)=W^Tx_i+b$ ，此处在 $x_i$ 中增加一个 $x_{i0}=1$ ，在 $W$ 中增加一个 $w_0=b$ ，即可用 $W^Tx_i$ 表示。

1. 最小二乘法及其几何意义

1.1 最小二乘法

定义损失函数(Loss Function)
采用二范数定义的平方误差来定义损失函数(Loss Function)：
$L(W)=\sum\limits_{i=1}^N||W^Tx_i-y_i||^2_2$
- 此式为均方差，若 $L$ 越小，则回归结果与真实结果越接近；
- 此处 $W$ 是一个 $p\times 1$ 的向量，表示 $x_i$ 的系数；
- 在 $x_i$ 中增加一个 $x_{i0}=1$ ，在 $W$ 中增加一个 $w_0=b$ ，即可用 $W^Tx_i$ 表示。
求解 $L (W)$
$\begin{array}{l} L(W)&=\displaystyle\sum^{N}_{i=1}(W^Tx_i-y_i)^2\\ &= \begin{pmatrix} W^Tx_1-y_1 & W^Tx_2-y_2&\cdots&W^Tx_N-y_N \end{pmatrix} \begin{pmatrix} (W^Tx_1-y_1)^T\\(W^Tx_2-y_2)^T\\\vdots\\(W^Tx_N-y_N)^T \end{pmatrix}\\ &=[W^T\begin{pmatrix} x_1&x_2&\cdots&x_N \end{pmatrix} -\begin{pmatrix} y_1&y_2&\cdots&y_N \end{pmatrix}] \begin{pmatrix} x_1^TW-y_1^T\\x_2^TW-y_2^T\\\vdots\\x_N^TW-y_N^T \end{pmatrix}\\ &=(W^TX^T - Y^T)(XW-Y)\\ &=W^TX^TXW-W^TX^TY-Y^TXW+Y^TY\\ &=W^TX^TXW-2W^TX^TY+Y^TY\end{array}$

$W^TX^TY=(Y^TXW)^T$ 是因为：
$W^TX^TY\in \mathbb{R}^{1}$ ，所以： $W^TX^TY=Y^TXW$
最优 $W$ 使得 $L$ 最小：
最优 $W$ 使得 $L$ 最小，即对下式进行处理：
$\hat W=\underset {W}{argmin}L(W)$
${\partial L(W)\over\partial W}=2X^TXW-2X^TY=0$
则： $\color{red}W=(X^TX)^{-1}X^TY=X^+Y$
1. 其中： ${\partial (W^TX^TXW)\over\partial W}=X^TXW+(X^TX)^TW=2X^TXW$ 。
2. $\color{blue}(X^TX)^{-1}X^T$ 为伪逆，记作： $\color{red}X^+$ 。
3. 此处 $\color{blue}(X^TX)^{-1}X^T$ 为 $X$ 的 $\color{blue}左逆X_{left}^{-1}$ 。( $X_{left}^{-1}\cdot X=(X^TX)^{-1}(X^TX)=I$ )
4. 对于 $\color{red}行满秩或者列满秩$ 的 $X$ 可以直接求解，但是对于 $\color{red}非满秩$ 的样本集合，需要使用 $\color{red}奇异值分解(SVD)$ 的方法，对 $X$ 求奇异值分解，得到
  $X=U\Sigma V^T$
  于是： $X^+=V\Sigma^{-1}U^T$

1.2 最小二乘法的几何意义

1.2.1 从每个数据点的误差角度

在这里插入图片描述
使用最小二乘法可以看做损失函数是每个样本的误差的总和，每个样本的误差即是 $y_{i}$ 与 $w^{T}x_{i}$ 的差，因此将所有点的误差求和 $\displaystyle\sum^{N}_{i=1}{\Vert W^Tx_i-y_i\Vert}^2$ ，使得其最小，便可求得最优的回归函数。

1.2.2 从投影角度

从投影角度来看最小二乘法推荐去看MIT 线性代数的课程，其中专门有一节讲最小二乘法，可以看看我的博客：第十六讲投影矩阵(Ax=b)和最小二乘法

实质
从投影角度的实质是： $Y$ 在 $X$ 的列空间上的投影。
$\begin{array}{l} X_{N\times p}W_{p \times 1}&= \begin{pmatrix} x_{11}&x_{12} & \cdots& x_{1p}\\ x_{21}&x_{22}&\cdots&x_{2p}\\ \vdots&\vdots&\ddots&\vdots\\ x_{N1}&x_{N2}&\cdots &x_{NP} \end{pmatrix} \begin{pmatrix} w_1\\w_2\\\vdots\\w_p \end{pmatrix}\\ &=\begin{pmatrix} x_{11}w_1+x_{12}w_2+\cdots+x_{1p}w_p\\ x_{21}w_1+x_{22}w_2+\cdots+x_{2p}w_p\\ \vdots\\ x_{N1}w_1+x_{N2}w_2+\cdots+x_{Np}w_p \end{pmatrix}\\ &=\begin{pmatrix} w_1\begin{pmatrix}x_{11}\\x_{21}\\\vdots\\x_{N1}\end{pmatrix} +w_2\begin{pmatrix}x_{12}\\x_{22}\\\vdots\\x_{N2}\end{pmatrix} +\cdots+ w_p\begin{pmatrix}x_{1p}\\x_{2p}\\\vdots\\x_{Np}\end{pmatrix} \end{pmatrix} \end{array}$

一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。确定方程 $A x = b$ 是否有解，相当于确定向量 $b$ 是否在 $A$ 列向量的生成子空间中。这个特殊的生成子空间被称为 $A$ 的 $\color{red}列空间（column space）$ 或者 $A$ 的 $\color{red}值域（range）$ 。

假设我们的试验样本张成一个 $p$ 维空间（满秩的情况）： $X=Span(x_1,\cdots,x_N),\\x_{i}\in \mathbb{R}^{p}$ ，而模型可以写成 $f (w) = X W$ ，也就是 $x_1,\cdots,x_N$ 的某种组合，而最小二乘法就是说希望 $Y$ 和这个模型距离越小越好，于是它们的差应该与这个张成的空间垂直：
$X^T\cdot(Y-XW)=0\longrightarrow W=(X^TX)^{-1}X^TY$

如下图所示， $\color{red}虚线$ 部分为 $Y - X W$ ，其 $\color{red}垂直$ 于 $X$ 列空间（即与 $X$ 的每一个列向量都垂直），因此： $X^T(Y-XW)=0$ ，所以：
$W=(X^TX)^{-1}X^TY$

1.2.3 总结：

第一种角度是把误差分散在了每一个数据点上
第二种角度是把误差分散在了 $X$ 的每一个列向量上， $p$ 个维度上面。

不同的角度得到了同样的结果
横看成岭侧成峰，体现了数学的美！

2. 最小二乘法+概率视角-高斯噪声-MLE

2.1 线性回归结论

数据：
$D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{N},y_{N})\right \}, x_{i}\in \mathbb{R}^{p},y_{i}\in \mathbb{R},i=1,2,\cdots ,N$
$X=(x_{1},x_{1},\cdots ,x_{N})^{T}=\begin{pmatrix} x_{1}^{T}\\ x_{2}^{T}\\ \vdots \\ x_{N}^{T} \end{pmatrix}=\begin{pmatrix} x_{11} & x_{12} & \cdots &x_{1p} \\ x_{21} & x_{22}& \cdots &x_{2p} \\ \vdots & \vdots & \ddots &\vdots \\ x_{N1}& x_{N2} & \cdots & x_{Np} \end{pmatrix}_{N \times p}\;Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{N} \end{pmatrix}_{N \times 1}$
最小二乘估计
求解： $L(W)=\displaystyle\sum^{N}_{i=1}{\Vert W^Tx_i-y_i\Vert}^2$
得到： $\hat W=arg\underset {W}{min}L(W);\;\hat W=(X^TX)^{-1}X^TY$

2.2 概率角度-高斯噪声

现实中不可能出现 $Y$ 在 $X$ 的张成空间中，因为数据都带有一定的噪声。

假设噪声 $\epsilon\sim N(0,\sigma^2)$ ，因为 $f(W)=y=W^TX,\;y = f(W)+\epsilon$ ，因此 $y=W^TX+\epsilon$

此处把 $W^TX$ 看成 $\color{red}常数$ ，因为当 $W$ 固定后， $W^TX$ 是固定值。
因此 $\color{red}y|X,W\sim N(w^{T}x,\sigma ^{2})$ ，即 $P(y|X,W)=\frac{1}{\sqrt{2\pi }\sigma }exp\left \{-\frac{(y-W^{T}X)^{2}}{2\sigma ^{2}}\right \}$ 可以使用MLE（最大似然估计）法来进行求解：
$\begin{array}{l}L(W)&=\log{p(y|X,W)}\\ &=\log\displaystyle\prod^N_{i=1}{p(y_i|x_i,W)}\\ &=\displaystyle\sum^N_{i=1}{\log p(y_i|x_i,W)}\\ &=\displaystyle\sum^N_{i=1}{\log ({1\over \sqrt{2\pi}\sigma}\exp(-{(y_i-W^Tx_i)^2\over 2\sigma^2})})\\ &=\displaystyle\sum^N_{i=1}\log{{1\over \sqrt{2\pi}\sigma}-{(y_i-W^Tx_i)^2\over 2\sigma^2}} \end{array}$
求解 $L (W)$
$\begin{array}{l}\hat W&=arg\underset {W}{max}\ L(W)\\ &=arg\underset {W}{max}\ \displaystyle\sum^N_{i=1}{\log{{1\over \sqrt{2\pi}\sigma}-{(y_i-W^Tx_i)^2\over 2\sigma^2}}}\\ & \Leftrightarrow arg\underset {W}{max}\ \displaystyle\sum^N_{i=1}{-{(y_i-W^Tx_i)^2\over 2\sigma^2}}\\ & \Leftrightarrow arg\underset {W}{min}\ \displaystyle\sum^N_{i=1}{{(y_i-W^Tx_i)^2\over 2\sigma^2}}\\ & \Leftrightarrow arg\underset {W}{min}\ \displaystyle\sum^N_{i=1}{(y_i-W^Tx_i)^2} \end{array}$
- 此结果与最小二乘估计中的loss function求解 $W$ 的结果一模一样，因此从概率角度用MLE求解与用最小二乘法LSE的本质一样。
- 也因此可以得出，最小二乘估计隐含了一个噪声服从正态分布的假设:
  $\color{red}LSE(最小二乘估计) \Leftrightarrow MLE(noise\;is\;Gaussian\;Distribution)（极大似然估计）$

3. 正则化-岭回归

3.1 过拟合

数据
$D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{N},y_{N})\right \}, x_{i}\in \mathbb{R}^{p},y_{i}\in \mathbb{R},i=1,2,\cdots ,N$
$X=(x_{1},x_{1},\cdots ,x_{N})^{T}=\begin{pmatrix} x_{1}^{T}\\ x_{2}^{T}\\ \vdots \\ x_{N}^{T} \end{pmatrix}=\begin{pmatrix} x_{11} & x_{12} & \cdots &x_{1p} \\ x_{21} & x_{22}& \cdots &x_{2p} \\ \vdots & \vdots & \ddots &\vdots \\ x_{N1}& x_{N2} & \cdots & x_{Np} \end{pmatrix}_{N \times p}\;Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{N} \end{pmatrix}_{N \times 1}$
最小二乘估计
求解： $L(W)=\displaystyle\sum^{N}_{i=1}{\Vert W^Tx_i-y_i\Vert}^2$
得到： $\hat W=arg\underset {W}{min}L(W);\;\hat W=(X^TX)^{-1}X^TY$
过拟合
1. $X$ 为 $N\times p$ ，即 $N$ 个样本，每个样本有 $p$ 维，通常处理时，需要 $\gg p$ 。
2. 实际问题中可能出现数据样本少，或数据的特征过多，使得 $\gg p$ 不满足，当出现高维小样本的情况即维度 $p$ 大于样本数 $N$ 时， $X^{T}X$ 就不可逆。
3. $\hat W=(X^TX)^{-1}X^TY$ 就不能进行求解，这种时候就容易出现过拟合的情况。
处理过拟合
$\color{red}处理过拟合\rightarrow \begin{cases} 1. 加数据\\ 2. 降维/特征选择/特征提取(PCA)\\ 3. 正则化 \end{cases}$

3.2 正则化

正则化框架
正则化框架： $\color{red}L(W)+\lambda P(W)$

其中 $L$ 为Loss Function， $P$ 为penalty（惩罚函数）

目标：
$\underset{W}{min}[L(W)+\lambda P(W)]$

正则化方式：
$\color{red}\left\{\begin{matrix} L1正则化(Lasso)：P(w)=\left \| W\right \|_{1}\\ L2正则化(Ridge)：P(w)=\left \| W\right \|_{2}^{2}=W^TW \end{matrix}\right.$
即： $\begin{array}{r}L1&:\mathop{argmin}\limits_WL(W)+\lambda||W||_1,\lambda\gt0\\ L2&:\mathop{argmin}\limits_WL(W)+\lambda||W||^2_2,\lambda \gt 0\end{array}$
本节主要介绍L2 岭回归，也称权值衰减。
L1 正则化
L1正则化可以引起稀疏解。
从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另一个方面看，L1 正则化相当于：
$\mathop{argmin}\limits_WL(W)\\ s.t. ||W||_1\lt C$
我们已经看到平方误差损失函数在 $W$ 空间是一个椭球，因此上式求解就是椭球和 $W||_1=C$ 的切点，因此更容易相切在坐标轴上。
L2正则化
L2正则化的求解过程：
$\begin{array}{r} J(W)&=\displaystyle\sum^{N}_{i=1}{\Vert W^Tx_i-y_i\Vert}^2+\lambda W^TW\\ &=(W^TX^T-Y^T)(XW-Y)+\lambda W^TW\\ &\Rightarrow W^TX^TXW-Y^TXW-W^TX^TY+\lambda W^TW\\ &=W^TX^TXW-2W^TX^TY+\lambda W^TW\\ &=W^T(X^TX+\lambda I)W-2W^TX^TY \end{array}$
令: ${\partial J(W)\over \partial W}=2(X^TX+\lambda I)W-2X^TY=0$
则： $\hat W = (X^TX+\lambda I)^{-1}X^TY$

其中 $X^TX$ 为半正定，当加上 $\lambda I$ 后必然正定，即可逆；
从数学角度上看，其可逆；同时抑制了过拟合的可能性。

4. 正则化-岭回归+贝叶斯角度-高斯噪声高斯先验-MAP

4.1 贝叶斯角度-MAP(最大后验估计)

贝叶斯公式
贝叶斯派认为 $\theta$ 也是一个 $\color{red}先验的随机变量$ ，并且 $\theta\sim p\left (\theta \right )$ ，其中 $p\left (\theta \right )$ 是一个 $\color{red}先验概率$ 。我们知道贝叶斯公式如下：
$P(\theta |X)=\frac{P(X|\theta)\cdot P(\theta )}{P(X)}$
$P(X)=\int_{\theta}^{}P(X,\theta )d{\theta }=\int_{\theta}^{}P(X|\theta )\cdot P(\theta )d{\theta }$
$P(\theta |X)=\frac{P(X|\theta)\cdot P(\theta )}{\int_{\theta}^{}P(X|\theta )\cdot P(\theta )d{\theta }}$
其中：
- $P(\theta |X)$ 为 $\color{red}后验概率$ ，也就是我们要得到的东西，是最终的参数分布。
- $P(\theta )$ 为 $\color{red}先验概率$ ，指的是在没有观测到任何数据时对 $\theta$ 的预先判断。
- $P(X|\theta)$ 为 $\color{red}似然$ ，是假设 $\theta$ 已知后，我们观察到的数据应该是什么样子的。
这里有两点值得注意的地方：
$\color{red}1. 随着数据量的增加，参数分布会越来越向数据靠拢，先验的影响力会越来越小;$
$\color{red}2. 如果先验是uniform distribution（均匀分布），则贝叶斯方法等价于频率方法。$ 因为直观上来讲，先验是uniform distribution本质上表示对事物没有任何预判。
MAP
MAP为贝叶斯学派常用的参数估计方法，他们认为模型参数服从某种潜在分布。可以参考：极大似然估计与最大后验概率估计。
- 其首先对参数有一个预先估计，然后根据所给数据，对预估计进行不断调整，因此同一事件，先验不同则事件状态不同。
- 先验假设较为靠谱时有显著的效果。
- 当数据较少时，先验对模型的参数有主导作用，随着数据的增加，真实数据样例将占据主导地位。
贝叶斯角度模型建立
- 我们知道 $f(W)=W^TX$ 是线性回归的结果。
- 我们从第二节概率视角-高斯噪声-MLE对 $y$ 预先估计： $y=f(W)+\epsilon=W^TX+\epsilon$
  
  与第二节一样， $\epsilon$ 为噪声 $\color{red}(\epsilon\sim N(0,\sigma^2))$ ;并且 $\color{red}y|X;W \sim N(W^TX,\sigma^2)$ 。
1. 从MAP的角度来看，参数 $W$ 必然服从某个分布，故假设 $\color{red}W\sim N(0, \sigma^2_0)$
  
  我们的目标： $\hat W = arg\underset{W}{max}\ \ p(W|y)$

4.2 求解 $W$

已知条件
首先根据条件概率可得 $\color{blue}p(W|y)= {p(y|W)\cdot p(W)\over p(y)}$
由于已知 $y ∣ X; W$ 和 $W$ 的分布，因此可得：
$p(y|W)={1\over\sqrt{2\pi}\sigma}\exp{\{-{(y-W^TX)^2\over2\sigma^2}\}}\color{blue}(似然)$
$p(W)={1\over\sqrt{2\pi}\sigma_0}\exp{\{-{\Vert W\Vert^2\over2\sigma_0^2}\}}\color{blue}(先验)$
求解 $W\color{blue}(后验)$
$\begin{array}{l} \hat W &= arg\underset{W}{max}\ \ {p(y|W)p(W)\over p(y)}\Rightarrow arg\underset{W}{max}\ \ p(y|W)p(W)\\ &=arg\underset{W}{max}\ \ \log{\{p(y|W)p(W) \}}\\ &=arg\underset{W}{max}\ \ \log{\{{1\over\sqrt{2\pi}\sigma}\exp{\{-{(y-W^TX)^2\over2\sigma^2}\}}{1\over\sqrt{2\pi}\sigma_0}\exp{\{-{\Vert W\Vert^2\over2\sigma_0^2}\}}\}}\\ &=arg\underset{W}{max}\ \ \log{({1\over\sqrt{2\pi}\sigma}{1\over\sqrt{2\pi}\sigma_0})}-{(y-W^TX)^2\over2\sigma^2}-{\Vert W\Vert^2\over2\sigma_0^2}\\ &\Rightarrow arg\underset{W}{max}\ \ -{(y-W^TX)^2\over2\sigma^2}-{\Vert W\Vert^2\over2\sigma_0^2}\\ &=arg\underset{W}{min}\ \ {(y-W^TX)^2\over2\sigma^2}+{\Vert W\Vert^2\over2\sigma_0^2}\\ &\Rightarrow arg\underset{W}{min}\ \ (y-W^TX)^2+{\sigma^2\over \sigma^2_0}\Vert W \Vert ^2\\ &=arg\underset{W}{min}\ \ \sum^N_{i=1}(y_i-W^Tx_i)^2+{\sigma^2\over \sigma^2_0}\Vert W \Vert ^2\\ \end{array}$

观察上式结果，其与加了Ridge正则化的Loss Function一致： $J(W)=\displaystyle\sum^{N}_{i=1}{\Vert W^Tx_i-y_i\Vert}^2+\lambda W^TW$
其中 $\lambda = {\sigma^2\over \sigma^2_0}$

所以 $\color{red}regularized\ \ LSE \Leftrightarrow MAP(noise为Guassian \ Distribution;Prior为Guassian \ Distribution)$

5. 小结

线性回归模型是最简单的模型，但是麻雀虽小，五脏俱全，在这里，我们利用最小二乘误差得到了闭式解。同时也发现，在噪声为高斯分布的时候，MLE 的解等价于最小二乘误差，而增加了正则项后，最小二乘误差加上 L2 正则项等价于高斯噪声先验下的 MAP解，加上 L1 正则项后，等价于 Laplace 噪声先验。
$\color{red}LSE\Leftrightarrow MLE(noise为Gaussian Distribution)\\ Regularized \: LSE\Leftrightarrow MAP(noise,prior为Gaussian Distribution)$
传统的机器学习方法或多或少都有线性回归模型的影子：

线性模型往往不能很好地拟合数据，因此有三种方案克服这一劣势：
1. 对特征的维数进行变换，例如多项式回归模型就是在线性特征的基础上加入高次项。
2. 在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数，典型的有线性分类模型如感知机。
3. 对于一致的线性系数，我们进行多次变换，这样同一个特征不仅仅被单个系数影响，例如多层感知机（深度前馈网络）。
线性回归在整个样本空间都是线性的，我们修改这个限制，在不同区域引入不同的线性或非线性，例如线性样条回归和决策树模型。
线性回归中使用了所有的样本，但是对数据预先进行加工学习的效果可能更好（所谓的维数灾难，高维度数据更难学习），例如 PCA 算法和流形学习。