29-贝叶斯线性回归

1.线性回归

1.1 背景

这里我们先回顾下我们之前的线性回归相关理论，假设我们有一组数据集合如下：
D = { ( x i , x j ) } i = 1 N , 其 中 x i ∈ R p , y i ∈ R (1) D=\{(x_i,x_j)\}_{i=1}^{N},其中 x_i \in\mathbb{R}^p,y_i\in \mathbb{R}\tag{1} D={(xi​,xj​)}i=1N​,其中xi​∈Rp,yi​∈R(1)
其中 样本X 为 N X P 维矩阵，具体表示如下：
$$X=(x_1,x_2,...,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)}_{N\times P}\text{\hspace{1em}(2)}$$
$$Y=(y_1,y_2,...,y_N{)}^T={\left(\begin{array}{c}{y}_1^T\\ y_2^T\\ ⋮\\ y_N^T\end{array}\right)}_{N\times 1}\text{\hspace{1em}(3)}$$
线性回归就是需要找到一个函数去拟合所有的样本点，常见的拟合方式有最小二乘法，为了避免过拟合，我们一般通过加正则项来约束方程，使得最后的结果不至于太差。
我们的拟合函数如下：
$$f(x)=w^{T}x=x^{T}w\text{\hspace{1em}(4)}$$
对于预测值 y 来说，满足如下：
$$y=f(x)+\epsilon ,\epsilon \sim (0,{\sigma }^2)\text{\hspace{1em}(5)}$$

• 注：其中 $x,y,\epsilon$ 都是随机变量

1.2 思维导图

为了用一个函数去拟合所有的样本，我们一般都是用 最小二乘估计方法 (LSE), 从几何意义出发，得到 估计值 W ，从概率视角来看，最小二乘估计就相当于极大似然估计，且噪声为高斯分布。为了解决最小二乘估计的过拟合问题，我们引出了具有正则化的最小二乘估计(Regularized-LSE),根据正则化的项不同可以分为 Lasso回归 和 Ridge回归 两种方式；从概率角度来看，具有正则化的最小二乘估计(Regularized-LSE)就相当于 概率里面的最大后验估计(MAP)，且噪声为高斯分布；
MAP & noise is guassian 公式如下：
$$\underset{posterior}{\underbrace{P(w|data)}}\propto \underset{likelihood}{\underbrace{P(data|w)}}\cdot \underset{Prior}{\underbrace{P(w)}}\text{\hspace{1em}(6)}$$

• MAP for w:
  $$w_{MAP}=\underset{w}{\mathrm{argmax}}P(w|data)=\underset{w}{\mathrm{argmax}}P(data|w)\cdot P(w)\text{\hspace{1em}(7)}$$
• 如果先验为高斯分布，那么对应的就是 Ridge 回归
• 如果先验为 Laplace 分布，那么对应的就是 Lasso 回归

总体来说，对于最小二乘估计(LSE) 和 正则化的最小二乘估计 (Regularized-LSE) 均属于点估计，是属于频率派的方法，其中 w 是未知的常数，并且最终转换成一个优化问题,具体公式如下：
$$w_{MLE}=\underset{w}{\mathrm{argmax}}P(data|w)\text{\hspace{1em}(8)}$$
$$w_{MAP}=\underset{w}{\mathrm{argmax}}P(data|w)\cdot P(w)\text{\hspace{1em}(9)}$$

1.3 贝叶斯估计与最小二乘法的区别

以上两种方法为点估计，现在我们引入贝叶斯方法(Bayesian-Method),而贝叶斯方法就不是点估计，而是属于贝叶斯派，那么此时的 w 就是 随机变量，此时我们就需要估计出分布 P(w|data)。

2. 贝叶斯方法

2.1 inference 和 prediction

贝叶斯方法(Bayesian-Method)包含两个部分，第一部分为 inference 和 prediction；其中 inference 指的是 求关于数据的后验Posterior: $P(w|data)$ ,此时 w 是一个分布，而不是一个常量； 其中 Prediction 指的是 在给定 $x^{\ast }$ 时，我们求解出对应的 $y^{\ast }$ .

2.2 inference

我们知道了 inference 指的是求解后验Posterior: $P(w|data)$,公式如下：
$$P(w|data)=P(w|X,Y)=\frac{P(W,Y|X)}{P(Y|X)}=\frac{P(Y|X,W)\cdot P(W)}{{\int }_{w}P(Y|X,W)\cdot P(W)dw}\text{\hspace{1em}(10)}$$
我们可以看作 ${\int }_{w}P(Y|X,W)\cdot P(W)dw$ 为积分常量，所以可得如下：
$$P(w|data)\propto P(Y|X,W)\cdot P(W)\text{\hspace{1em}(11)}$$
为了解决上述问题，我们需要求解出$P(Y|W,X)$ 模型的相关参数,公式如下：
$$P(Y|W,X)=\prod _{i=1}^{N}P(y_i|w_i,x_i)=\prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)\text{\hspace{1em}(12)}$$
我们知道 $y=w^{T}x+\epsilon ;\epsilon \sim (0,{\sigma }^2)$,所以可得P(Y|W,X)分布：
$$P(y|w,x)\sim N(y_i|w^T{x}_i,{\sigma }^2)\text{\hspace{1em}(13)}$$
我们定义先验 P(W)服从高斯分布如下：$P(W)\sim N(0,{\Sigma }_p)$ ;这是我们任意给的，合理即可；
由高斯共轭性可得，当两个分布为高斯分布时，那么其组合为高斯分布：
$$\underset{Guassian}{\underbrace{P(W|data)}}\propto \underset{Guassian}{\underbrace{P(Y|X,W)}}\cdot \underset{Guassian}{\underbrace{P(W)}}\text{\hspace{1em}(14)}$$
那么可以得如下：
$$P(W|data)\propto P(Y|X,W)\cdot P(W)=\prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)\cdot N(0,{\Sigma }_p)\text{\hspace{1em}(15)}$$
由高斯分布的共轭性可得，P(W|data)一定为高斯分布，假设期望为${\mu }_w$,方差为 ${\Sigma }_w$
$$P(W|data)=N({\mu }_w,{\Sigma }_w)\propto \prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)\cdot N(0,{\Sigma }_p)\text{\hspace{1em}(16)}$$

2.2.1 求解 P(W|data)的参数

• 已知 $P(Y|X,W)={\prod }_{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)$,可得概率密度如下：
  P ( Y ∣ X , W ) = ∏ i = 1 N 1 ( 2 π ) 1 2 σ e x p { − 1 2 σ 2 ( y i − w T x i ) 2 } (17) P(Y|X,W)=\prod_{i=1}^N \frac{1}{(2\pi)^{\frac{1}{2}}\sigma}exp\{-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2\}\tag{17} P(Y∣X,W)=i=1∏N​(2π)21​σ1​exp{−2σ21​(yi​−wTxi​)2}(17)
  P ( Y ∣ X , W ) = 1 ( 2 π ) N 2 σ N e x p { − 1 2 σ 2 ∑ i = 1 N ( y i − w T x i ) 2 } (18) P(Y|X,W)= \frac{1}{(2\pi)^{\frac{N}{2}}\sigma^N}exp\{-\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2\}\tag{18} P(Y∣X,W)=(2π)2N​σN1​exp{−2σ21​i=1∑N​(yi​−wTxi​)2}(18)
• 转换成矩阵形式如下：
  P ( Y ∣ X , W ) = 1 ( 2 π ) N 2 σ N e x p { − 1 2 ( Y − X W ) T σ − 2 I ( Y − X W ) } (19) P(Y|X,W)= \frac{1}{(2\pi)^{\frac{N}{2}}\sigma^N}exp\{-\frac{1}{2}(Y-XW)^T\sigma^{-2}I(Y-XW)\}\tag{19} P(Y∣X,W)=(2π)2N​σN1​exp{−21​(Y−XW)Tσ−2I(Y−XW)}(19)
• 所以可得:
  $$P(Y|X,W)\sim N(XW,{\sigma }^{-2}I)$$
• 故可得 $P(W|X,Y)$如下：
  $$P(W|X,Y)\propto N(XW,{\sigma }^{-2}I)\cdot N(0,{\Sigma }_p)\text{\hspace{1em}(20)}$$
  由高斯概率密度函数可得，我们其实只需要关注指数部分的参数即可，得如下：
• $N(XW,{\sigma }^{-2}I)$的指数部分
  e x p { − 1 2 ( Y − X W ) T σ − 2 I ( Y − X W ) } (21) exp\{-\frac{1}{2}(Y-XW)^T\sigma^{-2}I(Y-XW)\}\tag{21} exp{−21​(Y−XW)Tσ−2I(Y−XW)}(21)
• $N(0,{\Sigma }_p)$的指数部分
  e x p { − 1 2 W T Σ p − 1 W } (22) exp\{-\frac{1}{2}W^T\Sigma_p^{-1}W\}\tag{22} exp{−21​WTΣp−1​W}(22)
• $P(W|X,Y)$的指数部分：
  e x p { − 1 2 σ 2 ( Y T − W T X T ) ( Y − X W ) − 1 2 W T Σ p − 1 W } exp\{-\frac{1}{2\sigma^2}(Y^T-W^TX^T)(Y-XW)-\frac{1}{2}W^T\Sigma_p^{-1}W\} exp{−2σ21​(YT−WTXT)(Y−XW)−21​WTΣp−1​W}
  e x p { − 1 2 σ 2 ( Y T Y − Y T X W − W T X T Y + W T X T X W ) − 1 2 W T Σ p − 1 W } exp\{-\frac{1}{2\sigma^2}(Y^TY-Y^TXW-W^TX^TY+W^TX^TXW)-\frac{1}{2}W^T\Sigma_p^{-1}W\} exp{−2σ21​(YTY−YTXW−WTXTY+WTXTXW)−21​WTΣp−1​W}
• 因为 $Y^{T}XW=W^T{X}^{T}Y$
  e x p { − 1 2 σ 2 ( Y T Y − 2 Y T X W + W T X T X W ) − 1 2 W T Σ p − 1 W } (23) exp\{-\frac{1}{2\sigma^2}(Y^TY-2Y^TXW+W^TX^TXW)-\frac{1}{2}W^T\Sigma_p^{-1}W\}\tag{23} exp{−2σ21​(YTY−2YTXW+WTXTXW)−21​WTΣp−1​W}(23)
• 我们用配方法求解，令 $P(X_w)=N({\mu }_w,{\Sigma }_w)$,其对应的概率密度函数指数部分如下：
  e x p { − 1 2 ( X − μ w ) T Σ w − 1 ( X − μ w ) } (24) exp\{-\frac{1}{2}(X-\mu_w)^T\Sigma^{-1}_w(X-\mu_w)\}\tag{24} exp{−21​(X−μw​)TΣw−1​(X−μw​)}(24)
• 展开后可得如下：
  e x p { − 1 2 ( X T Σ w − 1 X ⏟ Q u a d r a t i c − f o r m − X − 2 μ w T Σ w − 1 X ⏟ l i n e a r i t y + △ ⏟ o t h e r s ) } (25) exp\{-\frac{1}{2}(\underbrace{X^T\Sigma^{-1}_{w}X}_{Quadratic-form-X}-\underbrace{2\mu_w^T\Sigma^{-1}_wX}_{linearity}+\underbrace{\triangle}_{others})\}\tag{25} exp{−21​(Quadratic−form−X XTΣw−1​X​​−linearity 2μwT​Σw−1​X​​+others △​​)}(25)
  这样我们就可以通过配方法求解上述参数。
• 那么我们由公式23可得关于 W 的二次项为如下：
  $$-\frac{1}{2{\sigma }^2}{W}^T{X}^{T}XW-\frac{1}{2}{W}^T{\Sigma }_p^{-1}W=-\frac{1}{2}[W^T\underset{{\Sigma }_w^{-1}=A}{\underbrace{({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})}}W]\text{\hspace{1em}(26)}$$
• 关于 W 的一次项为如下：
  $$-\frac{1}{2{\sigma }^2}\cdot (-2Y^{T}XW)=\underset{{\mu }_w^T{\Sigma }_w^{-1}={\sigma }^{-2}{Y}^{T}X={\mu }_w^{T}A}{\underbrace{{\sigma }^{-2}{Y}^{T}X}}W\text{\hspace{1em}(27)}$$
• 化简
  $$A{\mu }_w={\sigma }^{-2}{X}^{T}Y\text{\hspace{1em}(28)}$$
  $${\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y\text{\hspace{1em}(29)}$$

2.2.2 inference 结论

$$P(W|data)=N({\mu }_w,{\Sigma }_w)\text{\hspace{1em}(30)}$$
$${\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y\text{\hspace{1em}(31)}$$
$${\Sigma }_w=A^{-1};(tips:A={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})\text{\hspace{1em}(32)}$$

2.3 Prediction

所谓的预测问题(Prediction),就是在已知模型参数W(注：模型通过学习已经做完了inference)的情况下，当客户提供一个$X^{\ast }$，我们去预测与之对应的 $Y^{\ast }$

2.3.1 模型

$$f(x)=W^{T}X=X^{T}W\text{\hspace{1em}(33)}$$
$$y=f(x)+\epsilon ;\epsilon \sim N(0,{\sigma }^2)\text{\hspace{1em}(34)}$$
现在我们先求解$f(x^{\ast })$:
$$f(x^{\ast })={x^{\ast }}^{T}W\text{\hspace{1em}(35)}$$

• 注：此时的 W 应该对应于后验，即 $W\sim P(W|data)=N({\mu }_w,{\Sigma }_w),x^{\ast }对于W来说是常数$
  $${x^{\ast }}^{T}W\sim N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\text{\hspace{1em}(36)}$$
• 可得无噪声时公式如下：
  $$P(f(x^{\ast })|data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\text{\hspace{1em}(37)}$$

2.3.2 Prediction 结论

• 预测 $y^{\ast },y^{\ast }=f(x^{\ast })+\epsilon$
  $$P(y^{\ast }|data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast }+{\sigma }^2)\text{\hspace{1em}(38)}$$

3. 综述思路总结

3.1 背景

关于贝叶斯线性回归我们主要了解下其思路，为了方便后续描述，我们定义如下变量：

• 定义数据 Data:
  D = { ( x i , x j ) } i = 1 N , 其 中 x i ∈ R p , y i ∈ R (39) D=\{(x_i,x_j)\}_{i=1}^{N},其中 x_i \in\mathbb{R}^p,y_i\in \mathbb{R}\tag{39} D={(xi​,xj​)}i=1N​,其中xi​∈Rp,yi​∈R(39)
• 定义模型Model：
  $$f(x)=W^{T}X=X^{T}W\text{\hspace{1em}(40)}$$
  $$y=f(x)+\epsilon ,\epsilon \sim (0,{\sigma }^2)\text{\hspace{1em}(41)}$$
• 贝叶斯方法回归观点：

贝叶斯方法认为参数 W 不是未知的常量，W应该是一个概率分布

3.2 Inference

第一步我们需要做inference 来求解给定数据 data 的关于 W 的分布：

• 后验Posterior;$P(W|Data)=N({\mu }_w,{\Sigma }_w)$
  $$\underset{Guassian}{\underbrace{P(W|data)}}\propto \underset{Guassian}{\underbrace{likelihood}}\times \underset{Guassian}{\underbrace{prior}}\text{\hspace{1em}(42)}$$

3.3 Prediction

第二步我们需要在给定的 $x^{\ast }$ 的情况下，求解预测 $y^{\ast }$ ?
$$P(y^{\ast }|data,x^{\ast })={\int }_{w}P(y^{\ast }|w,data,x^{\ast })\cdot P(w|data,x^{\ast })dw\text{\hspace{1em}(43)}$$

• 注：因为 w 是从 data 里面学习出来的，所以 w 是可以代表数据的，故可简化得：
  $$P(y^{\ast }|w,data,x^{\ast })=P(y^{\ast }|w,x^{\ast })\text{\hspace{1em}(44)}$$
• 注：新的数据 $x^{\ast }$ 对于 w 来说没有影响，故可简化得：
  $$P(w|data,x^{\ast })=\underset{posterior}{\underbrace{P(w|data)}}\text{\hspace{1em}(45)}$$
  故综上所述可得：
  $$P(y^{\ast }|data,x^{\ast })={\int }_{w}P(y^{\ast }|w,x^{\ast })\cdot P(w|data)dw\text{\hspace{1em}(46)}$$
  $$完结撒花$$