贝叶斯线性回归

贝叶斯线性回归

令 为一组观测数据，它们独立同分布，且 。其中 是噪声，其服从高斯分布N(0, σ^2)。然后我们以此为依据，对点 的输出 的分布进行估计。

在一般的线性回归中，我们将参数θ视为一个未知的常数从而求它的值；而在贝叶斯线性回归中，我们将θ看作一个随机变量，所以在估计 的时候估计的也是 的分布。假定我们已经知道参数θ的先验分布，通常可以认为 。有了观测数据和θ的先验分布，根据贝叶斯定理我们可以得到参数的后验估计：

有了参数的后验估计，从而可得到的分布：

当θ的先验分布为高斯分布时，考虑到误差 也是高斯分布，可以将θ和 作为联合高斯分布考虑。联合高斯分布的条件分布也是高斯分布，通过计算可得：

相比于一般的线性回归，贝叶斯线性回归预测的是输出值的分布，即对于每一个可能出现的 ，都有相应的置信度。

参考      http://blog.csdn.net/daunxx/article/details/51725086