机器学习笔记：LS、Ridge、Lasso、最小一乘法的选择过程推导

基础概念

假设 $\mathbf{w}$是一件事情的原因，而$y$是一件事情的结果。
先验概率：$p(\mathbf{w})$代表原因发生的概率
似然函数验概率：$L(\mathbf{w})=p(y|\mathbf{w})$代表已知原因的情况下由因推出相应结果的概率
后验概率：$p(\mathbf{w}|y)$代表已知结果的情况下由果推因的概率
贝叶斯公式：$p(\mathbf{w}|y)=\frac{p(y|\mathbf{w})p(\mathbf{w})}{p(y)}$
最大似然估计(Maximum Likelihood, ML)：$\underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=p(y|\mathbf{w})$
最大后验估计(Maxaposterio , MAP)：$\underset{\mathbf{w}}{\mathrm{argmax}}p(\mathbf{w}|y)=\frac{p(y|\mathbf{w})p(\mathbf{w})}{p(y)}$，由于待估计参数是$\mathbf{w}$，分母项与$\mathbf{w}$无关，因此可以省略得到最大后验估计问题为$\underset{\mathbf{w}}{\mathrm{argmax}}p(y|\mathbf{w})p(\mathbf{w})=L(\mathbf{w})p(\mathbf{w})$，可以看到最大后验估计额外需要待估计参数的先验分布。

线性回归问题

$$y=\sum _{j=1}^d={\mathbf{x}}^T\mathbf{w}+ϵ$$
其中$\mathbf{x}\in {\mathbb{R}}^{d\times 1}$为输入参数，$\mathbf{w}\in {\mathbb{R}}^{d\times 1}$为线性回归参数，$d$为输入参数特征维度。$ϵ$为噪声扰动。假设线性回归的训练数据总共有$n$个，即$\mathbf{X}=[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_n]\in {\mathbb{R}}^{d\times n}$，则上式可以表达为
$$\mathbf{y}={\mathbf{X}}^T\mathbf{w}+ϵ$$
其中$ϵ=[{ϵ}_1,\cdots ,{ϵ}_n{]}^T\in {\mathbb{R}}^{d\times 1}$，这里没有考虑偏置项，这是因为偏置项也可以建模进$\mathbf{w}$中作为第一项并且$\mathbf{x}$的第一项为1代表将偏置加入。

采用什么方法来完成这个回归有许多种方式，常见的有LS、最小一乘法、Ridge、Lasso方法，如何选取这些方法与偏差$ϵ$的分布假设有关，同时还根据选择不同准则例如选择最大似然准则或是最大后验准则有关，也与待估计参数$\mathbf{w}$的先验分布假设有关。

LS最小二乘法推导

假设误差${ϵ}_i\sim N\left(0,{\sigma }^2\right)$是正态分布，则$y_i\sim N\left({\mathbf{x}}_i^T\mathbf{w},{\sigma }^2\right)$。采用最大似然准则(对数似然)，则问题可以表述为
$$\begin{gathered} \underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\mathrm{l}\mathrm{n}(p(y|\mathbf{w}))=\mathrm{l}\mathrm{n}\prod _{i=1}^n\frac{1}{\sigma \sqrt{2\pi }}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1}{2}{\left(\frac{y_i-{\mathbf{x}}_i^T\mathbf{w}}{\sigma }\right)}^2\right) \\ =-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left|y_i-{\mathbf{x}}_i^T\mathbf{w}\right|}^2-n\mathrm{l}\mathrm{n}\sigma \sqrt{2\pi } \\ =-\frac{1}{2{\sigma }^2}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2-n\mathrm{l}\mathrm{n}\sigma \sqrt{2\pi } \end{gathered}$$
等效于一个最小二乘问题
$$\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2$$

最小一乘法

假设误差${ϵ}_i\sim Laplace\left(0,\sigma \right)$是拉普拉斯分布，则$y_i\sim Laplace\left({\mathbf{x}}_i^T\mathbf{w},\sigma \right)$。采用最大似然准则(对数似然)，则问题可以表述为
$$\begin{gathered} \underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\mathrm{l}\mathrm{n}(p(y|\mathbf{w}))=\mathrm{l}\mathrm{n}\prod _{i=1}^n\frac{1}{2\sigma }\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{\left|y_i-{\mathbf{x}}_i^T\mathbf{w}\right|}{\sigma }\right) \\ =-\frac{1}{\sigma }\sum _{i=1}^n\left|y_i-{\mathbf{x}}_i^T\mathbf{w}\right|-n\mathrm{l}\mathrm{n}2\sigma \\ =-\frac{1}{\sigma }\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_1-n\mathrm{l}\mathrm{n}2\sigma \end{gathered}$$
等效于一个最小一乘问题
$$\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_1$$

Ridge

假设误差${ϵ}_i\sim N\left(0,{\sigma }_1^2\right)$是正态分布，则$y_i\sim N\left({\mathbf{x}}_i^T\mathbf{w},{\sigma }_2^2\right)$。采用最大后验估计，假设先验信息是待估计参数$w_i\sim N\left(0,{\sigma }^2\right)$是正态分布，则问题可以表述为
$$\begin{gathered} \underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\mathrm{l}\mathrm{n}(p(y|\mathbf{w})p(\mathbf{w})) \\ =\mathrm{l}\mathrm{n}\prod _{i=1}^n\frac{1}{{\sigma }_1\sqrt{2\pi }}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1}{2}{\left(\frac{y_i-{\mathbf{x}}_i^T\mathbf{w}}{{\sigma }_1}\right)}^2\right)\cdot \prod _{j=1}^d\frac{1}{{\sigma }_2\sqrt{2\pi }}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1}{2}{\left(\frac{w_j}{{\sigma }_2}\right)}^2\right) \\ =-\frac{1}{2{\sigma }_1^2}\sum _{i=1}^n{\left|y_i-{\mathbf{x}}_i^T\mathbf{w}\right|}^2-n\mathrm{l}\mathrm{n}{\sigma }_1\sqrt{2\pi }-\frac{1}{2{\sigma }_2^2}\sum _{j=1}^d{\left|w_j\right|}^2-d\mathrm{l}\mathrm{n}{\sigma }_2\sqrt{2\pi } \\ =-\frac{1}{2{\sigma }_1^2}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2-\frac{1}{2{\sigma }_2^2}\Vert \mathbf{w}{\Vert }_2^2-n\mathrm{l}\mathrm{n}{\sigma }_1\sqrt{2\pi }-d\mathrm{l}\mathrm{n}{\sigma }_2\sqrt{2\pi } \end{gathered}$$
等效于一个Ridge回归问题
$$\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2+\lambda \Vert \mathbf{w}{\Vert }_2^2$$

Lasso

假设误差${ϵ}_i\sim N\left(0,{\sigma }^2\right)$是正态分布，并且采用最大后验估计，我们假设先验信息是待估计参数$w_i\sim Laplace\left(0,\sigma \right)$是拉普拉斯分布分布。

假设误差${ϵ}_i\sim N\left(0,{\sigma }_1^2\right)$是正态分布，则$y_i\sim N\left({\mathbf{x}}_i^T\mathbf{w},{\sigma }_2^2\right)$。采用最大后验估计，假设先验信息是待估计参数$w_i\sim Laplace\left(0,\sigma \right)$是拉普拉斯分布分布，则问题可以表述为
$$\begin{gathered} \underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\mathrm{l}\mathrm{n}(p(y|\mathbf{w})p(\mathbf{w})) \\ =\mathrm{l}\mathrm{n}\prod _{i=1}^n\frac{1}{{\sigma }_1\sqrt{2\pi }}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1}{2}{\left(\frac{y_i-{\mathbf{x}}_i^T\mathbf{w}}{{\sigma }_1}\right)}^2\right)\cdot \prod _{j=1}^d\frac{1}{2{\sigma }_2}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{\left|w_j\right|}{{\sigma }_2}\right) \\ =-\frac{1}{2{\sigma }_1^2}\sum _{i=1}^n{\left|y_i-{\mathbf{x}}_i^T\mathbf{w}\right|}^2-n\mathrm{l}\mathrm{n}{\sigma }_1\sqrt{2\pi }-\frac{1}{{\sigma }_2}\sum _{j=1}^d\left|w_j\right|-d\mathrm{l}\mathrm{n}2{\sigma }_2 \\ =-\frac{1}{2{\sigma }_1^2}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2-\frac{1}{{\sigma }_2}\Vert \mathbf{w}{\Vert }_1-n\mathrm{l}\mathrm{n}{\sigma }_1\sqrt{2\pi }-d\mathrm{l}\mathrm{n}2{\sigma }_2 \end{gathered}$$
等效于一个Lasso问题
$$\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{y}-{\mathbf{X}}^T\mathbf{w}{\Vert }_2^2+\lambda \Vert \mathbf{w}{\Vert }_1$$