也有不那么主观的方法:把它看成一个 model selection 问题,然后用 model selection 的方法解决。具体例子:Probabilistic PCA + Bayesian model selection。
先介绍一下 Bayesian model selection。一般而言,假设我们有数据
,候选模型集
,以及对应参数空间集
。Bayesian model selection 通过计算并比较各模型后验概率
之间的相对大小来决定合适的模型(Bayes factor)。通常,我们假设各个模型的先验
均相等。
这个积分一般比较难算,惯常做法是利用 Laplace's method(下面略去下标
):假设
,并令
,
。如果把
在
处 Taylor 展开至