本文介绍了贝叶斯线性回归，对比了LSE、Ridge和Lasso回归的点估计，阐述了贝叶斯方法如何假设参数为随机变量并求解后验分布。详细讲解了后验估计的三种方法，包括最大后验估计、后验中位数估计和后验期望估计，并具体展示了如何求解后验估计的均值和协方差矩阵。此外，还讨论了prediction问题，即如何利用参数的后验分布对新样本进行预测。
1.无论是LSE，还是Ridge或Lasso回归,都是对参数作点估计
2.贝叶斯线性回归假设参数是随机变量，直接求解其后验分布
3.贝叶斯线性回归分为inference问题和predict问题
线性回归问题
线性回归是机器学习入门的模型，小编在之前文章也有介绍：
最开始的线性回归模型是利用LSE求解，它与noise服从高斯分布的MLE等价，但是这样的估计很容易造成过拟合。因此提出了正则化方法，由此衍生出岭回归和Lasso回归，它们的本质是假设先验分布服从不同的分布推出的结果。无论是LSE，还是Ridge或Lasso，都是假设参数是一个未知数，最终转换为一个最优化问题对其进行点估计。
今天我们要介绍另外一种方法，贝叶斯方法。它假定参数也是随机变量，利用贝叶斯公式对其进行概率分布的拟合&#x
最低0.47元/天 解锁文章
扫一扫
2237
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
