从线性回归到贝叶斯线性回归(Bayesian Linear Regression)

参考：

《Bayesian Linear Regression》[最全，包含贝叶斯公式、最大似然、贝叶斯估计及预测的公式及python实现]

《回字的四种写法——从线性回归到贝叶斯线性回归》

《贝叶斯线性回归(Bayesian Linear Regression)》

《透彻理解协方差矩阵》

《ForecastingCOVID-19 Outbreak Progression Using Hybrid Polynomial-Bayesian Ridge Regression Model》

《Linear regression in the Bayesian framework》

公式推导及其手撕代码（不调用python库）见：

《回字的四种写法——从线性回归到贝叶斯线性回归》

《Bayesian Linear Regression》[最全]

本文顺序

一、回忆线性回归                                                           

线性回归用最小二乘法，转换为极大似然估计求解参数W，但这很容易导致过拟合，由此引入了带正则化的最小二乘法（可证明等价于最大后验概率）

二、什么是贝叶斯回归？                                                

基于上面的讨论，这里就可以引出本文的核心内容：贝叶斯线性回归。

贝叶斯线性回归不仅可以解决极大似然估计中存在的过拟合的问题。

• 它对数据样本的利用率是100%，仅仅使用训练样本就可以有效而准确的确定模型的复杂度。
• 在极大似然估计线性回归中我们把参数看成是一个未知的固定值，而贝叶斯学派则把看成是一个随机变量。 

贝叶斯回归主要研究两个问题：inference（求后验）和prediction

下面结合图来说明贝叶斯线性回归的过程.

三、贝叶斯回归的inference问题                                    

 

四、贝叶斯回归的prediction问题                                   

根据inference求得的后验求prediction

 

五、总结                                                                          

 

贝叶斯回归的优缺点

优点： 
1. 贝叶斯回归对数据有自适应能力，可以重复的利用实验数据，并防止过拟合 
2. 贝叶斯回归可以在估计过程中引入正则项 
缺点： 
1. 贝叶斯回归的学习过程开销太大

附增——多项式贝叶斯岭回归                                         

岭回归是带正则化的最小二乘回归。