参数估计中考虑不确定性,将参数本身作为随机变量只是一个很小的步骤
贝叶斯公式
似然值P(D l h):对一个特定的h值(模型),我们观察到数据(D)的可能性
P(h):先验概率,可有先验信念大体确立
后验概率最大化准则等价于期望风险最小化准则
边缘分布P(D),也称边缘似然值,(意义),然而不幸的是除极少数情况外,很难计算
共轭先验
增加更多数据
增加更多的数据来确定后验分布,信念变得越来越不重要
与边缘似然模型作比较:
P(yn l α,β)
超参数:
继续引入对α,β分布的函数
虽然会更准确,但会牺牲更多的复杂度
模型的层数由建模使用的数据集和所能承受的计算复杂度来决定
图模型:
为了清楚地体现随机变量之间的依赖关系