【十一】贝叶斯统计正则化

贝叶斯统计正则化 Bayesian Statistics and Regularization

当我们使用最大似然估计算法Maximum Likelihood（ML）估计θ值时，就我们采用的估计方程为，在这一公式下，有两种学派表达了对θ的不同看法。

第一种成为"频率学派"，频率学派认为θ是一个未知的常量，我们的工作便是通过各种统计方法估计θ。

另一种称为“贝叶斯学派”，贝叶斯学派认为θ是一个服从某一分布的变量，其值是未知的。在这一假设中，我们需要确认先验概率Prior Distribution P(θ)从而表达我们对参数θ出现的“信任程度”。给定训练集S={xi,yi;i=1,...,m}，当我们需要对一个新的x进行预测时，我们首先计算在这一训练集下θ的先验概率