频率派线性回归和贝叶斯线性回归比较

一、频率派线性回归

1、单变量的线性回归

  数据集为最简单的一种情形，一个一维输入对应一个一维输出，所以训练数据集可以表示为$(x_1,t_1),(x_2,t_2),,,,,(x_n,t_n)$一共N个数据

  单变量线性回归的模型:

$$\begin{array}{r}y={\theta }_0+{\theta }_1\ast x\end{array}\text{\hspace{1em}(1.1)}$$

  所以说我们的目标就是，找到合适的$\theta$使得实际的输出要尽可能的逼近真实的输出。想要实现这个目标，关键就要找的一个代价函数，使得代价函数最小化，在这里我们一般都用的是实际输出与真实输出的均方误差作为代价函数，即：

$$\begin{array}{r}L(\theta )=\frac{1}{N}\sum _{i=1}^N(y_i-t_i{)}^2\end{array}\text{\hspace{1em}(1.2)}$$

  我们将$y_i$的表达式代入可得

$$\begin{array}{r}L(\theta )=\frac{1}{N}\sum _{i=1}^N({\theta }_0+{\theta }_1\ast x_i-t_i{)}^2\end{array}\text{\hspace{1em}(1.3)}$$

  要将上式最小化我们有多个方法，用的最多的就是梯度下降法和求导法，在这里我们主要讲一下求导法，即对参数${\theta }_0,{\theta }_1$分别求偏导。

$$\begin{array}{r}\frac{\partial L(\theta )}{\partial {\theta }_0}=\frac{2}{N}(N{\theta }_0-\sum _{i=1}^N(y_i-{\theta }_1{x}_i))\end{array}\text{\hspace{1em}(1.4)}$$

$$\begin{array}{r}\frac{\partial L(\theta )}{\partial {\theta }_1}=\frac{2}{N}({\theta }_1\sum _{i=1}^N{x}_i^2-\sum _{i=1}^N(y_i-{\theta }_0)x_i)\end{array}\text{\hspace{1em}(1.5)}$$

  所以令上式都为零可以解得最优解:

$$\begin{array}{r}{\theta }_1=\frac{\sum _{i=1}^N{y}_i(x_i-\frac{1}{N}\sum _{i=1}^N{x}_i)}{\sum _{i=1}^N{x}_i^2-\frac{1}{N}(\sum _{i=1}^N{x}_i{)}^2}\end{array}\text{\hspace{1em}(1.6)}$$

$$\begin{array}{r}{\theta }_0=\frac{1}{N}\sum _{i=1}^N(y_i-{\theta }_1{x}_i)\end{array}\text{\hspace{1em}(1.7)}$$

  详细的计算过程我这边就不写了，可以自行推导。

2、多变量的线性回归

  多变量的线性回归中x是一个向量,这个向量是D为维的，所以说整个数据集X是一个D*N矩阵,表示为$(x_{D1},y_1),(x_{D2},y_2),,,,(x_{DN},y_N)$

  多变量线性回归的模型

$$\begin{array}{r}y={\theta }_0+{\theta }_i\ast x_1+{\theta }_2\ast x_2={\theta }^{T}x\end{array}\text{\hspace{1em}(1.8)}$$

  对多变量的参数求解依旧和单变量是相似的，代价函数也是取最小平方和

$$\begin{array}{r}L(\theta )=\sum _{i=1}^N({\theta }^T{x}_i-y_i{)}^2\end{array}\text{\hspace{1em}(1.9)}$$

  通过求偏导我们可以得到：

$$\begin{array}{r}\theta =(X^{T}X{)}^{-1}{X}^{T}Y\end{array}\text{\hspace{1em}(1.10)}$$
  （正规方程，直接通过他就可以得到参数的最优解。）

二、贝叶斯线性回归

  贝叶斯方法区别于频率派，引入参数的先验和后验概率，将参数看做是一个随机变量，求得参数的概率密度函数，即可求得参数的最优解。贝叶斯估计其实就是最大后验估计加上一个高斯先验得到后验概率，参数的最优解就是对后验概率求期望，也就是高斯分布中的$\mu$值。

  贝叶斯线性回归的模型和频率相似，我们假设这边基函数为$\varphi (x)$，那么其数学形式为：

$$\begin{array}{r}y(x,w)=\sum _{j=0}^M{w}_j{\varphi }_j(x)\end{array}\text{\hspace{1em}(2.1)}$$

  其中$\varphi (x)$为前面提到的基函数，且${\varphi }_0(x)=1$，
$$\begin{array}{r}w=(w_0,w_1,.......w_M)\end{array}$$

$$\begin{array}{r}\varphi =({\varphi }_1,{\varphi }_2,.......,{\varphi }_M)\end{array}$$

  我们给定训练数据集为

$$\begin{array}{r}X=(x_{M1},y_1),(x_{M2},y_2),,,,(x_{MN},y_N)\end{array}$$

  贝叶斯方法就是引入参数的先验，我们这边假设$w$的先验服从高斯分布

$$\begin{array}{r}p(w)=N(w|0,{\alpha }^{-1}I)\end{array}\text{\hspace{1em}(2.2)}$$

  所以线性模型的概率为：

$$\begin{array}{r}p(t|x,w,\beta )=N(t|y(x,w),{\beta }^{-1}I)\end{array}\text{\hspace{1em}(2.3)}$$

  表示我的真实输出也是服从均值为$y(x,w)$，残差为${\beta }^{-1}I$的高斯分布。

  所以我们可以通过贝叶斯公式求得参数的后验概率：

$$\begin{array}{r}p(w|t)\propto p(t|w,x,\beta )p(w|\alpha )\end{array}\text{\hspace{1em}(2.4)}$$

  所以说后验概率分布的对数由似然函数与先验的对数求和的方式得到，形式为：
$$\begin{array}{rl}lnp(w|t)=& ln\prod _{i=1}^{N}p(t_i|w,x_i,\beta )\prod _{j=1}^{N}p(w_j|\alpha )\\ & =\sum _{i=1}^{N}lnp(t_i|w,x_i,\beta )+\sum _{j=1}^{N}lnp(w_j|\alpha )\end{array}\text{\hspace{1em}(2.5)}$$
  将我们前面得到的似然函数和先验分布带入上式中可以得到

$$\begin{array}{r}lnp(w|t)=-\frac{\beta }{2}\sum _{i=1}^N(t_i-w^T\varphi (x_i){)}^2-\frac{\alpha }{2}{w}^{T}w+常数\end{array}\text{\hspace{1em}(2.6)}$$

  所以后验分布关于$w$的最大化就等价于平方和误差函数加上一个正则化项进行最小化。对于此，我们的方法就和上面的一样了，求他的极大似然解，求导即可。这边就不作详细阐述了。

贝叶斯的学习过程：

  贝叶斯的学习过程就是通过数据来更新我们已知的先验信息，当我们得到了参数的后验信息，此时又传过来一个数据，那么我们就可以把刚刚求得的后验信息看作是相对于这个数据的一个先验信息，这样，我们就可以得到一个新的后验信息，这样一直下去，我们就可以求得参数的一个最优解。在PRML这本书中，有对这段话的详细阐述（第115页）。

三、两者之间的比较

1、频率派估计参数时，对于数据集的大小是有要求的，一般来说，数据集越大参数估计的才越准确；而贝叶斯学派是通过求得参数的后验分布来估计参数的取值，所以一般而言贝叶斯的方法只需要很小的数据集就可以得到精确的解。

2、频率派进行参数估计时，是将参数假设为一个未知的常数，而我们的工作就是通过数据集来学习这个参数，在学习过程中我们会不断地逼近这个常数；而贝叶斯学派是将参数看成一个随机变量，我们将通过参数的先验概率和似然函数来计算参数的后验概率，求使得后验概率最大的值为参数的最大后验取值。

3、频率学派在进行参数估计时常常会遇见过拟合的问题，所以频率学派的做法一般是会加上一个正则化项，来参数的估计值拉下来；而贝叶斯估计引入先验概率，我们可以求得关于参数的后验概率，我们根据后验概率直接求期望，就可以得到参数的最优值。

4、但贝叶斯的一个缺点就是在学习过程中学习的复杂度会比较高。