贝叶斯回归

贝叶斯回归

回归模型

假设Data: { ( x 1 , y 1 ) , . . . ( x n , y n ) } {\{(x_1,y_1),...(x_n,y_n)\}} {(x1​,y1​),...(xn​,yn​)}

对于$X=(x_1,x_2,...x_n)$,每个$x_i$有p个特征，就是一个矩阵$\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ...& ...& ...& ...\\ x_{n1}& x_{n2}& ...& x_{np}\end{array}\right]$

,Y=$\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]$

对于线性回归模型来说，我们要找到一组参数矩阵$W$使得
$$\{\begin{array}{c}f(x)=W^{T}X\\ y=f(x)+ϵ\end{array}$$
其中一般假设$ϵ\sim N(0,{\sigma }^2)$

贝叶斯方法有两个步骤，一个是Inference，一个是predict

Inference求参数w，predict求新的测试机数据$x^{\ast }$对应的$y^{\ast }$

1. Inference

$$p(W|Data)=p(W|X,Y)=\frac{p(W,Y|X)}{p(Y|X)}=\frac{p(Y|W,X)P(W)}{\int p(Y|W,X)P(W)dW}$$

其中$p(W,Y|X)=p(Y|W,X)P(W|X)$但由于W和X相互独立，所以$P(W|X)=p(W)$

然后因为$p(Y|W,X)$是一个联合概率密度嘛，就是似然，故
$$p(Y|W,X)=\prod _{i=1}^{n}p(y_i|W,x_i)$$
由$ϵ\sim N(0,{\sigma }^2)$ ，故$p(y_i|x_i,w)\sim N(W^T{x}_i,{\sigma }^2)$,然后因为多个正态相乘还是正态，可得上式属于正态分布

现在一般会先假设一个先验令$p(W)\sim N(0,\Sigma )$,

由$p(W|Data)\propto p(Y|W,X)p(W)$，高斯分布又属于指数族分布，指数族分布都有的共轭的性质，所以可知$p(W|Data)$也是一个高斯分布。高斯的共轭是指一个分布的先验和似然概率都是高斯分布，那他的后验也是高斯分布。

现在就可以我们最终Inference的一个模型$p(W|Data）$是一个高斯分布，现在只需要求出这个高斯分布的均值${\mu }_w$和方差${\Sigma }_w$，

下面就是一波推导
p ( Y ∣ X , W ) = ∏ i = 1 n 1 2 π σ e x p { − 1 2 σ 2 ( y i − W T x i ) 2 } = 1 2 π n 2 σ n e x p { − 1 2 σ 2 ∑ i = 1 n ( y i − W T x i ) 2 } = 1 2 π n 2 σ n e x p { − 1 2 ( Y − X W ) T σ − 2 I ( Y − X W ) } p(Y|X,W)=\prod_{i=1}^{n} \frac {1}{\sqrt{2\pi}\sigma} exp\{- \frac {1}{2 \sigma^2 }(y_i-W^Tx_i)^2\} \\ =\frac {1}{{2\pi}^{\frac {n}{2}}\sigma^n} exp\{- \frac {1}{2 \sigma^2 }\sum_{i=1}^{n}(y_i-W^Tx_i)^2\} \\=\frac {1}{{2\pi}^{\frac {n}{2}}\sigma^n} exp\{-\frac {1}{2} (Y-XW)^T\sigma^{-2}I(Y-XW)\} p(Y∣X,W)=i=1∏n​2π ​σ1​exp{−2σ21​(yi​−WTxi​)2}=2π2n​σn1​exp{−2σ21​i=1∑n​(yi​−WTxi​)2}=2π2n​σn1​exp{−21​(Y−XW)Tσ−2I(Y−XW)}
其中I为单位矩阵，故$p(Y|X,W)\sim N(XW，{\sigma }^{-2}I)$

所以$p(W|Data)\propto N(XW，{\sigma }^{-2}I)N(0,\Sigma )$

,同样也是高斯分布相乘，这里省略步骤，比较复杂，直接给出答案，
$$\begin{gathered} p(W|Data)=N({\mu }_w,{\Sigma }_w), \\ {\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y, \\ {\sigma }_w=A^{-1} \\ ，其中A={\sigma }^{-2}{X}^{T}X+{\Sigma }^{-1} \end{gathered}$$

2.predict

现在已知$p(w|Data)=N({\mu }_w,{\Sigma }_w)$，且${\mu }_w,{\Sigma }_w$已知，

故对于新的测试$x^{\ast }$,套用回归模型$f(x^{\ast })=x^{\ast }{}^{T}W$，$x^{\ast }$是常数，常数乘高斯分布，故有$f(x^{\ast })=N(x^{\ast }{}^T{u}_w,x^{\ast }{}^T{\Sigma }_w{x}^{\ast })$，

所以$y^{\ast }=f(x)+ϵ=N(x^{\ast }{}^T{u}_w,x^{\ast }{}^T{\Sigma }_w{x}^{\ast }+{\sigma }^2)$

代码实现

哎，还不想搞

总结

贝叶斯回归是典型的贝叶斯派方法。考虑将参数w看成随机变量，进行建模，这种方法和之前了解的线性回归不太一样，之前的线性回归是没有概率的，而贝叶斯将参数看成随机变量，这种方法，也使得最终预测的y也是一个分布，就很模糊理论了，直觉上很吊的样子