证据近似
在前面章节已经讲到在处理线性基函数的贝叶斯方法中,通过引入超参α、β的先验分布,通过对超参以及w求积分做预测。这种方法只能对ω的积分或对超参积分,但对所有变量的求积分是没有解析解的。这里提出证据近似的方法。
这种方法:首先为ω求积分,得到边缘似然函数,通过最大化边缘似然函数,确定超参的值。
假设引入α、β的超先验分布,预测分布则可通过ω、α、β求积分得到:
假设后验分布p(α,β|t)在α、β附近有尖峰,则α、β则被固定,即:
3.5.1 计算证据函数
边缘似然函数p(t|α,β)通过对ω积分得到:
计算这个积分有两种方法:1.使用线性-高斯模型的条件概率分布结果;2.通过对指数项配平方,使用高斯分布的归一化。
我们得到证据函数: