1.1.10. Bayesian Regression（贝叶斯回归）

1.1.10. Bayesian Regression

一、简介

贝叶斯概率理论体系在机器学习中有着举足轻重的地位。其实很多时候，我们机器学习的算法从本质上来看，就是一种统计学习方法。所以，贝叶斯概率学派的很多思想，是理解机器学习的关键所在。

贝叶斯回归显然是贝叶斯理论在线性回归的一个应用。sklearn一上来就给出了一条很重要的性质：在贝叶斯概率模型中，我们用参数的概率分布（参数本身具有分布的形式），取代了常规正则化。

1.1 形式

唔，我们发现，Ridge回归（分类）中的 $l_2$ 范数，其实就等价于：在高斯分布的先验假设下，最大化的、精度为 ${\lambda }^{-1}$的、参数 ω \omega