【机器学习】贝叶斯线性回归

1、前言

贝叶斯线性回归。不是什么新奇的东西，实际上就是线性回归从贝叶斯派的角度去理解罢了。本文将从贝叶斯派的角度去推导。
数学基础：【概率论与数理统计知识复习-哔哩哔哩】

2、引入

很显然，在频率派的角度去理解的话，就是要找出一条直线，让每一个点和直线之间的误差最小。所以按频率派的思路，直线为
$$f(x)=w^{T}x+b$$
设我们每一个点的坐标为$\left((x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\right)$。

所以我们只需要设置损失函数，让它最小
$$\arg \underset{w}{\min }\sum _{i=1}^n(f(x)-y_i{)}^2$$
而$y_i$自然就是对应点$x_i$的纵坐标的值，让每一个点都和直线对应值做差，让他们最小，然后找到最合适的w即可。w被认为是未知的常量。

然而，贝叶斯派却不是这样。从贝叶斯派的角度去看的话，参数$w$被认为是一个随机变量，服从一定的概率分布。而$f(x)$也是如此。所以
$$\begin{gathered} f(x)=w^{T}x+b \\ y=f(x)+ϵ\text{\hspace{1em}(1)} \end{gathered}$$
$f(x)$是随机变量，$y$也是随机变量，$ϵ\sim \mathcal{N}(0,{\sigma }^2)$的正态分布，所以要求出$f(x)$的概率分布，就必须先求出$w$（后验）对应的概率分布。

3、原理推导

3.1、后验w

在求解之前，先对里面的值做一些定义
$$\begin{gathered} X={\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right)}^T; \\ Y={\left(\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right)}^T; \\ w={\left(\begin{array}{cccc}{w}^1& w^2& \cdots & w^p\end{array}\right)}^T; \end{gathered}$$
其中，每一个$x_i$都是p维的列向量。在这里就不展开了(或者可以看式2)。有n个样本。我们知道
$$f(x)=w^{T}x+b=w^1{x}^1+w^2{x}^2+\cdots +w^p{x}^p+b$$
为了简洁，对于每一个x，和w，重定义为
$$\begin{gathered} x=\left(\begin{array}{ccccc}{x}^1& x^2& \cdots & x^p& 1\end{array}\right) \\ w=\left(\begin{array}{ccccc}{w}^1& w^2& \cdots & w^p& b\end{array}\right)\text{\hspace{1em}(2)} \end{gathered}$$
要求出随机变量w概率分布，就是要利用对应的数据$X,Y$求解，即
$$P(w|X,Y)=\frac{P(w,Y|X)}{P(Y|X)}=\frac{P(Y|w,X)P(w|X)}{P(Y|X)}$$
里面用到的是贝叶斯公式的转化。

因为我们要求的是w的概率分布，并且X，Y都是给定的，$\boxed{所以P(Y|X)可以当作是一个常数项(X,Y是给定)}$，所以
$$P(w|X,Y)\propto P(Y|w,X)P(w|X)$$
对于里面的$P(w|X)$，$\boxed{我们一般认为是先验分布}$，是我们要给定的，现在，假设我们给定为
$$P(w|X)\sim \mathcal{N}(w|{\mu }_p,{\Sigma }_p)$$
也就是我们假定它服从期望为0，协方差矩阵为${\Sigma }_g$的正态分布。

所以我们们要先求出$P(Y|w,X)$，才能求出后验$P(w|X,Y)$

3.2、求解似然

对于$P(Y|w,X)$，我们一般称为似然
$$P(Y|w,X)=\prod _{i=1}^{n}P(y_i|w,x_i)\text{\hspace{1em}(3)}$$
我们知道，对于随机变量y，我们前面有（式1）
$$y=w^{T}x+ϵ$$
里面的式子每一个都是随机变量

但是对于随机变量$y|w,x$，w和x都是给定的，不再是随机变量，又因为$ϵ\sim \mathcal{N}(0,{\sigma }^2)$，所以实际上
$$P(y|w,x)\sim \mathcal{N}(y|w^{T}x,{\sigma }^2)$$
对这个不熟悉的可以参考线性动态系统中的概率求解，里面讲解了这种问题的解法。

所以依据高斯分布的共轭性质，如果似然和先验都是高斯分布，那么对应的后验同样也是高斯分布

我们设假设它的参数，即
$$(w|X,Y)\sim \mathcal{N}({\mu }_k,{\Sigma }_k)$$
所以对于（式3）
$$\begin{array}{c}\begin{array}{rl}P(Y|w,X)=& \prod _{i=1}^{n}P(y_i|w,x_i)\\ =& \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^n}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-w^T{x}_i{)}^2\right\}\end{array}\end{array}$$

对于exp里面
$$\begin{array}{c}\begin{array}{rl}& \sum _{i=1}^n(y_i-w^T{x}_i{)}^2\\ =& \left(\begin{array}{cccc}{y}_1-w^T{x}_1& y_2-w^T{x}_2& \cdots & y_n-w^T{x}_n\end{array}\right)\left(\begin{array}{c}{y}_1-w^T{x}_1\\ y_2-w^T{x}_2\\ \cdots \\ y_n-w^T{x}_n\end{array}\right)\\ =& (Y-Xw{)}^T(Y-Xw)\end{array}\end{array}$$

所以
$$\begin{array}{c}\begin{array}{rl}P(Y|w,X)=& \frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^n}\exp \left\{-\frac{1}{2{\sigma }^2}(Y-Xw{)}^T(Y-Xw)\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^n}\exp \left\{-\frac{1}{2}(Y-Xw{)}^T{\sigma }^{-2}(Y-Xw)\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^n}\exp \left\{-\frac{1}{2}(Y-Xw{)}^T{\sigma }^{-2}\mathbb{I}(Y-Xw)\right\}\end{array}\end{array}$$
其中$\mathbb{I}$是一个单位矩阵，之所以要写入一个单位矩阵，就是因为${\sigma }^{-2}$是一个一维实数。而我们需要的是矩阵形式。

不难看到，这就是一个多维高斯分布的概率密度函数，所以直接就可以得到
$$P(Y|w,X)\sim \mathcal{N}(Xw,({\sigma }^{-2}\mathbb{I}{)}^{-1})$$

3.3、求解后验

结合$P(w|X)\sim \mathcal{N}(w|0,{\Sigma }_g)$，得到
$$\begin{array}{c}\begin{array}{rl}P(w|X,Y)\propto & P(Y|w,X)P(w|X)\\ =& \frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^n}\exp \left\{-\frac{1}{2}(Y-Xw{)}^T{\sigma }^{-2}\mathbb{I}(Y-Xw)\right\}\frac{1}{(2\pi {)}^{\frac{p}{2}}|{\Sigma }_p{|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}(w-{\mu }_p{)}^T{\Sigma }_p^{-1}(w-{\mu }_p)\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{n+p}{2}}{\sigma }^n|{\Sigma }_p{|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2{\sigma }^2}(Y-Xw{)}^T(Y-Xw)-\frac{1}{2}(w-{\mu }_p{)}^T{\Sigma }_p^{-1}(w-{\mu }_p)\right\}\end{array}\end{array}\text{\hspace{1em}(4)}$$
由于直接配成多维高斯分布比较困难，我们不如反过来推，假设多维高斯分布P(x)，我们有
$$\begin{array}{c}\begin{array}{rl}P(x)=& \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}(x^T{\Sigma }^{-1}x-{\mu }^T{\Sigma }^{-1}x-x^T{\Sigma }^{-1}\mu +\mu {\Sigma }^{-1}\mu )\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}(x^T{\Sigma }^{-1}x-2{\mu }^T{\Sigma }^{-1}x+\mu {\Sigma }^{-1}\mu )\right\}\end{array}\end{array}$$
对于随机变量x，里面有关的只有$x^T{\Sigma }^{-1}x$和$2{\mu }^T{\Sigma }^{-1}x$。其中第一项有两个x，为二次项。第二项有一个x，为一次项。那么我们也同样可以在$P(w|X,Y)$中，找出对应$w$的一次项和二次项。

我们将(式4)继续拆开，并且只保留与$w$相关的项
$$\begin{array}{c}\begin{array}{rl}P(w|X,Y)=& \frac{1}{(2\pi {)}^{\frac{n+p}{2}}{\sigma }^n|{\Sigma }_p{|}^{\frac{1}{2}}}\exp \left\{\frac{1}{2{\sigma }^2}(w^T{X}^{T}Xw+2Y^{T}Xw)-\frac{1}{2}(w-{\mu }_p{)}^T{\Sigma }_p^{-1}(w-{\mu }_p)\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{n+p}{2}}{\sigma }^n|{\Sigma }_p{|}^{\frac{1}{2}}}\exp \left\{\frac{1}{2}\left[w^T(X^{T}X{\sigma }^{-2}-{\Sigma }_p^{-1})w+(2{\sigma }^{-2}{Y}^{T}X+2{\mu }_p^T{\Sigma }_p^{-1})w\right]\right\}\end{array}\end{array}$$
由里面的二次项得$P(w|X,Y)$协方差矩阵为
$${\Sigma }_k^{-1}=X^{T}X{\sigma }^{-2}-{\Sigma }_p^{-1}$$
再看一次项
$${\sigma }^{-2}{Y}^{T}X+{\mu }_p^T{\Sigma }_p^{-1}={\mu }_k^T{\Sigma }_k^{-1}\to {\mu }_k={\sigma }^{-2}{\Sigma }_k^T{X}^{T}Y+{\Sigma }_k{\Sigma }_p^{-1}{\mu }_p$$
至此，我们终于求出了
$$P(w|X,Y)\sim \mathcal{N}(w|{\mu }_k,{\Sigma }_k)$$
其中${\mu }_k={\sigma }^{-2}{\Sigma }_k^T{X}^{T}Y+{\Sigma }_k{\Sigma }_p^{-1}{\mu }_p$，${\Sigma }_k^{-1}=X^{T}X{\sigma }^{-2}-{\Sigma }_p^{-1}$

4、预测

得到了随机变量w的参数。接下来我们由$y=w^{T}x+ϵ=x^{T}w+ϵ$，来求出随机变量的$y|X,Y,x^{\ast }$的参数，也就是给定$x^{\ast }$，去求出$y^{\ast }$
$$P(y^{\ast }|X,Y,x^{\ast })={\int }_{w}P(y^{\ast }|w,X,Y,x^{\ast })P(w|X,Y,x^{\ast })dw={\int }_{w}P(y^{\ast }|w,x^{\ast })P(w|X,Y)dw$$
后面一个等号第一个概率是因为$w$已经是$X,Y$的充分统计量，能充分代表数据了，所以可以忽略掉$X,Y$。第二个概率是因为$w$仅仅依赖于训练数据$X,Y$，所以忽略掉$x^{\ast }$

不难看出实际上两个随机变量之间是存在一个线性关系。那么依据线性动态系统中的概率求解，我们很容易得到它的概率分布
$$y^{\ast }|X,Y,x^{\ast }\sim N(x^{\ast T}{\mu }_k,x^{\ast T}{\Sigma }_k{x}^{\ast }+{\sigma }^2)$$

5、结束

以上就是线性回归用贝叶斯派的角度去推导的结果。如有问题，还望指出。阿里嘎多。