机器学习笔记之贝叶斯线性回归(二)推断任务推导过程

引言

上一节对贝叶斯算法在线性回归中的任务进行介绍，本节将介绍贝叶斯线性回归推断任务的推导过程。

回顾：贝叶斯线性回归——推断任务

贝叶斯线性回归中的推断任务(Inference)本质上是求解模型参数$\mathcal{W}$的后验概率结果$\mathcal{P}(\mathcal{W}\mid Data)$：
其中$Data$表示数据集合，包含样本集合$\mathcal{X}$和对应标签集合$\mathcal{Y}$.
$$\begin{array}{rl}\mathcal{P}(\mathcal{W}\mid Data)& =\frac{\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})}{{\int }_{\mathcal{W}}\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})d\mathcal{W}}\\ & \propto \mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})\end{array}$$
其中$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$是似然(Likelihood)，根据线性回归模型的定义，$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$服从高斯分布：
各样本之间’独立同分布‘~
$$\begin{array}{rl}\mathcal{Y}& ={\mathcal{W}}^T\mathcal{X}+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)\\ \mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})& \sim \mathcal{N}({\mathcal{W}}^T\mathcal{X},{\sigma }^2)\\ & =\prod _{i=1}^N\mathcal{N}({\mathcal{W}}^T{x}^{(i)},{\sigma }^2)\end{array}$$
$\mathcal{P}(\mathcal{W})$表示先验分布(Piror Distribution)，表示推断前给定的初始分布。这里假设$\mathcal{P}(\mathcal{W})$同样服从高斯分布：
先验分布$\mathcal{P}(\mathcal{W})$的完整表达是$\mathcal{P}(\mathcal{W}\mid \mathcal{X})$,这里$\mathcal{W}$和样本$\mathcal{X}$无关，故省略。
$$\mathcal{P}(\mathcal{W})\sim \mathcal{N}(0,{\Sigma }_{prior})$$
根据指数族分布的共轭性质 以及高斯分布自身的自共轭性质，后验$\mathcal{P}(\mathcal{W}\mid Data)$同样服从高斯分布。定义其高斯分布为$\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$，具体表达如下：
$$\begin{array}{rl}\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})& \propto \mathcal{N}({\mathcal{W}}^T\mathcal{X},{\sigma }^2)\cdot \mathcal{N}(0,{\Sigma }_{prior})\\ & =\left[\prod _{i=1}^N\mathcal{N}(y^{(i)}\mid {\mathcal{W}}^T{x}^{(i)},{\sigma }^2)\right]\cdot \mathcal{N}(0,{\Sigma }_{prior})\end{array}$$

推断任务的目的就是求解$\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$的分布形式，即求解分布参数${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$。

推导过程

首先观察似然的概率分布，并进行展开：
需要注意的是:$\mathcal{N}(y^{(i)}\mid {\mathcal{W}}^T{x}^{(i)},{\sigma }^2)(i=1,2,\cdots ,N)$是一维高斯分布。

$$\begin{array}{rl}\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})& \sim \prod _{i=1}^N\mathcal{N}(y^{(i)}\mid {\mathcal{W}}^T{x}^{(i)},{\sigma }^2)\\ & =\prod _{i=1}^N\frac{1}{\sigma \sqrt{2\pi }}\exp \left[-\frac{1}{2{\sigma }^2}{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2\right]\end{array}$$
将连乘符号$\prod$代入$\exp$中，并使用矩阵乘法的方式进行描述：
主要是对${\sum }_{i=1}^N{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2$进行变换，变换结果表示如下：传送门
$$\begin{array}{rl}\sum _{i=1}^N{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2& =\left(y^{(1)}-{\mathcal{W}}^T{x}^{(1)},\cdots ,y^{(N)}-{\mathcal{W}}^T{x}^{(N)}\right)\left(\begin{array}{c}{y}^{(1)}-{\mathcal{W}}^T{x}^{(1)}\\ ⋮\\ y^{(N)}-{\mathcal{W}}^T{x}^{(N)}\end{array}\right)\\ & =({\mathcal{Y}}^T-{\mathcal{W}}^T{\mathcal{X}}^T)(\mathcal{Y}-\mathcal{X}\mathcal{W})\\ & =(\mathcal{Y}-\mathcal{X}\mathcal{W}{)}^T(\mathcal{Y}-\mathcal{X}\mathcal{W})\end{array}$$
$\frac{1}{2{\sigma }^2}$和$i$无关，拿到连加号外面,$\mathcal{I}$表示单位矩阵。
$$\begin{array}{rl}& =\frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left[-\frac{1}{2{\sigma }^2}\sum _{i=1}^N{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2\right]\\ & =\frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left[-\frac{1}{2}(\mathcal{Y}-\mathcal{X}\mathcal{W}{)}^T{\sigma }^{-2}\mathcal{I}(\mathcal{Y}-\mathcal{X}\mathcal{W})\right]\end{array}$$
观察上式，上式同样也是高斯分布的表达格式，这也从侧面证明后验概率$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$确实服从高斯分布。上述高斯分布格式可化简为：
中间的项${\sigma }^{-2}\mathcal{I}$表示’精度矩阵‘。需要注意~
$$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\sim \mathcal{N}(\mathcal{X}\mathcal{W},{\sigma }^2\mathcal{I})$$
至此，后验分布$\mathcal{P}(\mathcal{W}\mid Data)$可表示为：
$$\mathcal{P}(\mathcal{W}\mid Data)\propto \mathcal{N}(\mathcal{X}\mathcal{W},{\sigma }^2\mathcal{I})\cdot \mathcal{N}(0,{\Sigma }_{prior})$$
言归正传，如何求解${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$?
对上式进行如下转换：
这里只关心与$\mathcal{W}$相关的项，其他的项均视作常数。
$$\begin{array}{rl}\mathcal{P}(\mathcal{W}\mid Data)& \propto \left\{\frac{1}{(2\pi {)}^{\frac{N}{2}}{\sigma }^N}\exp \left[-\frac{1}{2}(\mathcal{Y}-\mathcal{X}\mathcal{W}{)}^T{\sigma }^{-2}\mathcal{I}(\mathcal{Y}-\mathcal{X}\mathcal{W})\right]\right\}\cdot \left\{\frac{1}{(2\pi {)}^{\frac{p}{2}}|{\Sigma }_{prior}{|}^{\frac{1}{2}}}\left[-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{prior}^{-1}\mathcal{W}\right]\right\}\\ & \propto \exp \left[-\frac{1}{2}(\mathcal{Y}-\mathcal{X}\mathcal{W}{)}^T{\sigma }^{-2}\mathcal{I}(\mathcal{Y}-\mathcal{X}\mathcal{W})\right]\cdot \exp \left[-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{prior}^{-1}\mathcal{W}\right]\\ & =\exp \left\{-\frac{1}{2{\sigma }^2}({\mathcal{Y}}^T-{\mathcal{W}}^T{\mathcal{X}}^T)(\mathcal{Y}-\mathcal{X}\mathcal{W})-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{prior}^{-1}\mathcal{W}\right\}\end{array}$$
思路：使用配方法，将上式化简为$\frac{1}{2}(\mathcal{W}-{\mu }_{\mathcal{W}}{)}^T{\Sigma }_{\mathcal{W}}^{-1}(\mathcal{W}-{\mu }_{\mathcal{W}})$的格式，从而求出${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}^{-1}$。
我们先对$\frac{1}{2}(\mathcal{W}-{\mu }_{\mathcal{W}}{)}^T{\Sigma }_{\mathcal{W}}^{-1}(\mathcal{W}-{\mu }_{\mathcal{W}})$进行展开：用$\Delta$表示。
这里的${\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}$和${\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}$互为转置并且均表示实数，因而有：${\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}={\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}$.
$$\begin{array}{rl}\Delta & =-\frac{1}{2}\left[{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}-{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}-{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}+{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}\right]\\ & =-\frac{1}{2}\left[{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}-2{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}+{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}\right]\end{array}$$
其中二次项是$-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}$,一次项是${\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}$,常数项是$-\frac{1}{2}{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}{\mu }_{\mathcal{W}}$。对比这三项去寻找目标结果的相应项。
对上式完全展开：
观察${\mathcal{Y}}^T\mathcal{X}\mathcal{W}$和${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$这两项，它们是互为转置，并且均表示实数。因此有：${\mathcal{Y}}^T\mathcal{X}\mathcal{W}={\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}$。
$$\begin{array}{rl}\mathcal{P}(\mathcal{W}\mid Data)& \propto \exp \left\{-\frac{1}{2{\sigma }^2}({\mathcal{Y}}^T\mathcal{Y}-{\mathcal{Y}}^T\mathcal{X}\mathcal{W}-{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}+{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{X}\mathcal{W})-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{piror}^{-1}\mathcal{W}\right\}\\ & =\exp \left\{-\frac{1}{2{\sigma }^2}\left({\mathcal{Y}}^T\mathcal{Y}-2{\mathcal{Y}}^T\mathcal{X}\mathcal{W}+{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{X}\mathcal{W}\right)-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{piror}^{-1}\mathcal{W}\right\}\end{array}$$

• 观察：该式中的二次项有：
  $$-\frac{1}{2{\sigma }^2}{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{X}\mathcal{W}-\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{prior}^{-1}\mathcal{W}=-\frac{1}{2}\left[{\mathcal{W}}^T\left({\sigma }^{-2}{\mathcal{X}}^T\mathcal{X}+{\Sigma }_{prior}^{-1}\right)\mathcal{W}\right]$$
  对比一下$\Delta$可以发现：${\Sigma }_{\mathcal{W}}^{-1}={\sigma }^{-2}{\mathcal{X}}^T\mathcal{X}+{\Sigma }_{prior}^{-1}$。
  这里令$\mathcal{A}={\Sigma }_{\mathcal{W}}^{-1}$。
  $$\{\begin{array}{l}-\frac{1}{2}\left[{\mathcal{W}}^T\left({\sigma }^{-2}{\mathcal{X}}^T\mathcal{X}+{\Sigma }_{prior}^{-1}\right)\mathcal{W}\right]\\ -\frac{1}{2}{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}\end{array}$$
• 同理，该式中的一次项只有一项：
  $$-\frac{1}{2{\sigma }^2}\cdot (-2){\mathcal{Y}}^T\mathcal{X}\mathcal{W}=\frac{{\mathcal{Y}}^T\mathcal{X}}{{\sigma }^2}\mathcal{W}$$
  对比一下$\Delta$可以发现：${\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}={\mu }_{\mathcal{W}}^T\mathcal{A}=\frac{{\mathcal{Y}}^T\mathcal{X}}{{\sigma }^2}$
  $$\{\begin{array}{l}\frac{{\mathcal{Y}}^T\mathcal{X}}{{\sigma }^2}\mathcal{W}\\ {\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}\mathcal{W}\end{array}$$

此时我们不需要在去观察’常数项部分‘。因为仅需要求解${\mu }_{\mathcal{W}}$和${\Sigma }_{\mathcal{W}}$.此时已经得到了两个方程：
$$\{\begin{array}{l}{\mu }_{\mathcal{W}}^T{\Sigma }_{\mathcal{W}}^{-1}=\frac{{\mathcal{Y}}^T\mathcal{X}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}^{-1}=\mathcal{A}\end{array}$$
解这个方程，有：
$$\{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{{\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}^{-1}=\mathcal{A}\end{array}$$

至此，${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}^{-1}$均已求解，那么后验概率分布$\mathcal{P}(\mathcal{W}\mid Data)$表示为：
$$\begin{array}{r}\mathcal{P}(\mathcal{W}\mid Data)\sim \mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{{\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}={\mathcal{A}}^{-1}\\ \mathcal{A}=\frac{{\mathcal{X}}^T\mathcal{X}}{{\sigma }^2}+{\Sigma }_{piror}^{-1}\end{array}\end{array}$$

下一节将介绍预测任务(Prediction)。

相关参考：
机器学习-贝叶斯线性回归（3）-推导Inference