19 贝叶斯线性回归

数据集 D = { ( x i , y i ) } i = 1 N , D=\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{N}, D={(xi​,yi​)}i=1N​, 其中 $x_i\in {\mathbb{R}}^p,y_i\in \mathbb{R}$
数据矩阵为：(这样可以保证每一行为一个数据点)
$$X={\left(x_1,x_2,\cdots ,x_N\right)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1p}\\ x_{21}& x_{32}& \dots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \dots & x_{Np}\end{array}\right)}_{N\times P}$$
拟合函数我们假设为： $f(x)=w^{T}x=x^{T}w$
预测值 $y=f(x)+\epsilon ,$ 其中 $\epsilon$ 是一个 Guassian Noise $,$ 并且 $\epsilon \sim \mathcal{N}\left(0,{\sigma }^2\right)$
并且， $x,y,\epsilon$ 都是 Random variable。

1 背景

1.1 最小二乘估计(Least Square Estimation)

这实际上就是一个利用数据点的极大似然估计 (MLE)，并且有一个默认的隐含条件，也就是噪声$\epsilon$ 符合 Gaussian Distribution。我们的目标是通过估计找到 $w,$ 使得：
$$w_{MLE}={\mathrm{argmax}}_{w}p(\mathrm{Data}|w)$$
而如果仅仅只是这样来使用，很容易会出现过拟合的问题。所以，我们引入了 Regularized LSE, 也就是正则化最小二乘法。同时也有一个默认的隐含条件，也是噪声 $\epsilon$ 符合 Gaussian Distribution。在 Liner Regression 中我们提到了有两种方法来进行思考，也就是 Lasso 和 Ridge Regression。在这里我 们可以使用一个 Bayes 公式，那么：
$$\begin{array}{c}p(w|\text{Data})\propto p(\text{Data}|w)p(w)\\ w_{MAP}={\mathrm{argmax}}_{w}p(w|\text{Data})={\mathrm{argmax}}_{w}p(\text{Data}|w)p(w)\end{array}$$
那么假设 $p(w)$ 符合一个高斯分布 $\mathcal{N}\left({\mu }_0,{\Sigma }_0\right)$ 时, 这时是属于 Ridge; 而如果 $p(w)$ 符合一个 Laplace 分布，这是就是 Lasso。从概率的角度来思考和统计的角度来思想，我们其实获得的结果是一样的，这 在 Linear Regression 中有证明。但是，我们只证明了 Ridge 的部分。

1.2 贝叶斯估计与频率派估计

其实在第一部分，我们讲的都是点估计，频率派估计的部分。因为在这些思路中，我们把参数$w$当成a unknown random variable。这实际上就是一个优化问题。而在Beyesian method 中，认为$w$是一个随机变量，也就是一个分布，那么我们求的$w$ 不再是一个数了，而是一个分布。下面我们将要进行Bayes Linear Regression 的部分。

2 Inference

贝叶斯估计方法 (Bayesian Method)，可以分为两个步邪，1.Inference，2.Prediction。Inference 的 关键在于估计 posterior $(w)$; 而 Predictipn 的关键在于对于给定的 $x^{\ast }$ 求出预测值 $y^{\ast }$

2.1 Bayesian Method 模型建立

首先我们需要对公式使用贝叶斯公式进行分解，便于计算：
$$p(w|Data)=p(w|X,Y)=\frac{p(w,Y|X)}{p(Y|X)}=\frac{p(Y|X,w)p(w)}{{\int }_{w}p(Y|X,w)p(w)dw}$$
其中 $p(Y|X,w)$ 是似然函数 (likelihood function) $,p(w)$ 是一个先验函数 (prior function)。实际 这里省略了一个过程， $p(w,Y|X)=p(Y|X,w)p(w|X)$ 。但是很显然， $p(w|X)$ 中 $X$ 与 $w$ 之间并没有 直接的联系。所以 $p(w|X)=p(w)$ 似然函数的求解过程为：
$$p(Y|X,w)=\prod _{i=1}^{N}p\left(y_i|x_i,w\right)$$
又因为 $y=w^{T}x+\epsilon ,$ 并且 $\epsilon \sim \mathcal{N}\left(0,{\sigma }^2\right)。$ 所以
$$p\left(y_i|x_i,w\right)=\mathcal{N}\left(w^T{x}_i,{\sigma }^2\right)$$
所以，
$$p(Y|X,w)=\prod _{i=1}^{N}p\left(y_i|x_i,w\right)=\prod _{i=1}^N\mathcal{N}\left(w^T{x}_i,{\sigma }^2\right)$$
而下一步，我们$w$的先验，为方便起见，假设 $p(w)=\mathcal{N}\left(0,{\Sigma }_p\right)$ 。又因为 $p(Y|X)$ 与参数 $w$ 无关，所以这是一个定值。所以，我们可以将公式改写为：
$$p(w|X,Y)\propto p(Y|w,X)p(w)$$
在这里我们将使用到一个共轭的技巧，因为 likelihood function 和 prior function 都是 Gaussian Distribution，所有 posterior 也一定是 Gaussian Distribution。所以，我们可以将公式改写为：
$$p(w|\text{Data})\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)\propto \prod _{i=1}^N\mathcal{N}\left(w^T{x}_i,{\sigma }^2\right)\mathcal{N}\left(0,{\Sigma }_p\right)$$
我们的目的就是求解 ${\mu }_w=?,{\Sigma }_w=?$
对于 likelihood function 的化简如下所示：
$$\begin{array}{rl}p(Y|X,w)& =\prod _{i=1}^N\frac{1}{(2\pi {)}^{\frac{1}{2}}\sigma }\exp \left\{-\frac{1}{2{\sigma }^2}{\left(y_i-w^T{x}_i\right)}^2\right\}\\ & =\frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^N{\left(y_i-w^T{x}_i\right)}^2\right\}\end{array}$$

2.2 模型的求解

对于likelihood function 的化简如下所示：
$$\begin{array}{rl}p(Y|X,w)& =\prod _{i=1}^N\frac{1}{(2\pi {)}^{\frac{1}{2}}\sigma }\exp \left\{-\frac{1}{2{\sigma }^2}{\left(y_i-w^T{x}_i\right)}^2\right\}\\ & =\frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^N{\left(y_i-w^T{x}_i\right)}^2\right\}\end{array}$$
下一步，我们希望将 ${\sum }_{i=1}^N{\left(y_i-w^T{x}_i\right)}^2$ 改写成矩阵相乘的形式
$$\begin{array}{rl}\sum _{i=1}^N{\left(y_i-w^T{x}_i\right)}^2& =\left[\begin{array}{llll}{y}_1-w^T{x}_1& y_2-w^T{x}_2& \cdots & y_i-w^T{x}_i\end{array}\right]\left[\begin{array}{c}{y}_1-w^T{x}_1\\ y_2-w^T{x}_2\\ ⋮\\ y_i-w^T{x}_i\end{array}\right]\\ & =\left(Y^T-W^T{X}^T\right){\left(Y^T-W^T{X}^T\right)}^T\\ & =\left(Y^T-W^T{X}^T\right)(Y-XW)\end{array}$$所以,
$$\begin{array}{rl}p(Y|X,w)=& \frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^N\left(Y^T-W^T{X}^T\right)(Y-XW)\right\}\\ =& \frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left\{-\frac{1}{2}\sum _{i=1}^N\left(Y^T-W^T{X}^T\right){\sigma }^{-2}I(Y-XW)\right\}\\ & p(Y|X,w)\sim \mathcal{N}\left(WX,{\sigma }^{-2}I\right)\end{array}$$
那么，将化简后的结果带入有：
$$p(w|D\text{ ata })\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)\propto \mathcal{N}\left(WX,{\sigma }^{2}I\right)\mathcal{N}\left(0,{\Sigma }_p\right)$$

$$\begin{array}{rl}\mathcal{N}\left(WX,{\sigma }^{2}I\right)\mathcal{N}\left(0,{\Sigma }_p\right)& \propto \exp \left\{-\frac{1}{2}(Y-WX{)}^T{\sigma }^{-2}I(Y-WX)-\frac{1}{2}{w}^T{\Sigma }_p^{-1}w\right\}\\ & =\exp \left\{-\frac{1}{2{\sigma }^2}\left(Y^{T}Y-2Y^{T}XW+W^T{X}^{T}XW\right)-\frac{1}{2}{W}^T{\Sigma }_p^{-1}W\right\}\end{array}$$
那么这个公式长得怎么的难如我们怎么确定我们想要的 ${\mu }_w,{\Sigma }_w$。 由于知道 posterior 必然是一个 高斯分布，那么我们采用待定系数法来类比确定参数的值即可。对于一个分布 $p(x)\sim \mathcal{N}(\mu ,\Sigma ),$ 他的 指数部分为：
$$\exp \left\{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right\}=\exp \left\{-\frac{1}{2}\left(x^T{\Sigma }^{-1}x-2{\mu }^T{\Sigma }^{-1}x+\Delta \right)\right\}$$
常数部分已经不重要了，对于我们的求解来说没有任何的用处，所以，我们直接令它为 $\Delta$。那么， 我们类比一下就可以得到，
$$x^T{\Sigma }^{-1}x=W^T{\sigma }^{-2}{X}^{T}XW+W^T{\Sigma }_p^{-1}W$$
所以，我们可以得到 ${\Sigma }_w^{-1}={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}$ 。并且, 我们令 ${\Sigma }_w^{-1}=A$
从二次项中我们得到了 ${\Sigma }_w^{-1}$ 那么，下一步，我们期望可以从一次项中得到 ${\mu }_A$ 的偵。我们将 次项提取出来进行观察，可以得到。
$$\begin{array}{rl}{\mu }^{T}A& ={\sigma }^{-2}{Y}^{T}X\\ {\left({\mu }^{T}A\right)}^T& ={\left({\sigma }^{-2}{Y}^{T}X\right)}^T\\ A^T\mu & ={\sigma }^{-2}{X}^{T}Y\\ \mu & ={\sigma }^{-2}{\left(A^T\right)}^{-1}{X}^{T}Y\end{array}$$又因为，${\Sigma }_w$ 是一个方差矩阵，那么他一定是对称的，所以 $A^T=A_{\bullet }$ 于是
$${\mu }_m={\sigma }^{-2}{A}^{-1}{X}^{T}Y$$

2.3小结

我们利用贝叶斯推断的方法来确定参数之间的分布，也就是确定 $p(W|X,Y)$ 。我们使用 Bayes 的 方法，确定为 $p(W|X,Y)\propto p(Y|W,X)p(W)$ 。并且确定一个噪声分布 $\epsilon \sim \mathcal{N}\left(0,{\sigma }^2\right)$ 。那么,
$$\begin{array}{rl}p(Y|W,X)& \sim \mathcal{N}\left(W^{T}X,{\sigma }^2\right)\\ P(W)& \sim \mathcal{N}\left(0,{\Sigma }_p\right)\end{array}$$
通过推导，我们可以得出，
$$p(W|X,Y)\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)$$
其中，
$${\Sigma }_w^{-1}={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}{\mu }_m={\sigma }^{-2}{A}^{-1}{X}^{T}Y{\Sigma }_w^{-1}=A$$

3 Prediction & Conclusion

根据上一节中提到的 Inference，我们已经成功的推断出了 $p(w|Data)$ 的分布。表述如下所示：
$$p(W|X,Y)\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)$$
其中，
$${\Sigma }_w^{-1}={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}{\mu }_m={\sigma }^{-2}{A}^{-1}{X}^{T}Y{\Sigma }_w^{-1}=A$$
而我们的 Prediction 过程，可以被描述为，给定一个 $x^{\ast }$ 如果计算得到 $y^{\ast }$ 。而我们的模型建立如
下所示：
$$\{\begin{array}{l}f(x)=w^{T}X=x^{T}w\\ y=f(x)+\epsilon \end{array}\epsilon \sim \mathcal{N}\left(0,{\sigma }^2\right)$$

3.1 Prediction

模型预测的第一步为,
$$f\left(x^{\ast }\right)=x^{\ast T}w$$
而在 Inference 部分，我们得到了 $p(w|D\text{ata})\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)$ 。所以，我们可以推断出,
$$f\left(x^{\ast }\right)=x^{\ast T}w\sim \mathcal{N}\left(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }\right)(5)$$
那么公式 (5) 我们可以写作：
$$p\left(f\left(x^{\ast }\right)|\text{Data},x^{\ast }\right)\sim \mathcal{N}\left(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }\right)$$
又因为 $y=f(x)+\epsilon ,$ 所以
$$p\left(y^{\ast }|\text{Data},x^{\ast }\right)\sim \mathcal{N}\left(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }+{\sigma }^2\right)$$
那么计算到这里，我们的模型预测也算是完成了。

3.2 Conclusion

Data: D = { ( x i , y i ) } i = 1 N , D=\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{N}, D={(xi​,yi​)}i=1N​, 其中 $x_i\in {\mathbb{R}}^p,y_i\in {\mathbb{R}}_0$
Model:
$$\{\begin{array}{l}f(x)=w^{T}X=x^{T}w\\ y=f(x)+\epsilon \end{array}\epsilon \sim \mathcal{N}\left(0,{\sigma }^2\right)$$
Bayesian Method: w 不在是一个末知的常数，w 而是一个概率分布。贝叶斯线性分类可以被分成 两个部分，Inference 和 Prediction。

1. Inference: $p(w|\text{ Data })$ 是一个 posterior 分布，假定 $p(w|D\text{ ata })\sim \mathcal{N}\left({\mu }_w,{\Sigma }_w\right)\propto$ likelihood $x$ prior 。这里使用了共轭的小技巧，得到 posterior 一定是一个 Gaussian Distribution。在这一步中，我 们的关键是求出 ${\mu }_w=?,{\Sigma }_w=?$
2. Prediction：这个问题实际上也就是，给定一个 $x^{\ast }$ 如果计算得到 $y^{\ast }$ 。我们可以描述为：
   $$p\left(y^{\ast }|\text{Data},x^{\ast }\right)={\int }_{w}p\left(y^{\ast }|w,\text{ Data, }{x}^{\ast }\right)p\left(w|\text{Data},x^{\ast }\right)dw$$
   又因为，w 就是从 Data 中引出的，所以 $p\left(y^{\ast }|w,Data,x^{\ast }\right)=p\left(y^{\ast }|w,x^{\ast }\right)$, 并且, $w$ 的获得与 $x^{\ast }$ 没有关系，所以 $p(w|Data)。$ 所以,
   $$p\left(y^{\ast }|\text{Data},x^{\ast }\right)={\int }_{w}p\left(y^{\ast }|w,x^{\ast }\right)p(w|Data)dw={\mathbb{E}}_{w\sim p(w|Data)}\left[p\left(y^{\ast }|w,x^{\ast }\right)\right]$$