3.4 贝叶斯模型比较
模型比较的贝叶斯观点涉及到使用概率表示模型选择的不确定性,和使用概率的加和、乘积规则。
现在讲解几个概念:
假设项比较L个模型,在多项式拟合时,概率分布被定义在目标t上,而输入值X被认为是已知的,其他类型的模型定义了X和t上的联合分布。假设数据由这些模型中的一个生成,不确定性通过先验概率分布表示p(Mi)。
后验分布
现在给定一个训练数据集D,估计出后验分布:
先验分布
其中的先验分布表达出不同模型之间的优先级。此时我们假设所有模型的都拥有相同的先验概率。上式中的模型证据p(D|Mi),表达了数据展现出的不同模型的优先级,同时也被称作边缘似然函数(marginal likelihood),因为可以被看作模型空间中的似然函数,在模型空间中参数已经被求和或者积分。两个模型的边缘似然函数的比值被称为贝叶斯因子。
预测分布
根据概率的加和规则和乘机规则,预测分布为:
预测分布的获取方式:对各个模型的预测分布求加权平均,权值为这些模型的后验概率p(Mi|D)。
模型选择
模型选择:对于模型求平均的一个简单的近似是使用最可能的一个模