PRML3.4贝叶斯模型比较

3.4 贝叶斯模型比较

模型比较的贝叶斯观点涉及到使用概率表示模型选择的不确定性，和使用概率的加和、乘积规则。
现在讲解几个概念：
假设项比较L个模型，在多项式拟合时，概率分布被定义在目标t上，而输入值X被认为是已知的，其他类型的模型定义了X和t上的联合分布。假设数据由这些模型中的一个生成，不确定性通过先验概率分布表示p(Mi)。

后验分布

现在给定一个训练数据集D，估计出后验分布：

先验分布

其中的先验分布表达出不同模型之间的优先级。此时我们假设所有模型的都拥有相同的先验概率。上式中的模型证据p(D|Mi)，表达了数据展现出的不同模型的优先级，同时也被称作边缘似然函数(marginal likelihood),因为可以被看作模型空间中的似然函数，在模型空间中参数已经被求和或者积分。两个模型的边缘似然函数的比值被称为贝叶斯因子。

预测分布

根据概率的加和规则和乘机规则，预测分布为：

预测分布的获取方式：对各个模型的预测分布求加权平均，权值为这些模型的后验概率p(Mi|D)。

模型选择

模型选择：对于模型求平均的一个简单的近似是使用最可能的一个模