共轭先验
在贝叶斯概率理论中,如果后验分布 p ( θ ∣ x ) p(\theta|x) p(θ∣x)与先验分布 p ( θ ) p(\theta) p(θ)属于同类,则先验分布和后验分布被称为共轭分布,先验分布被称为似然函数的共轭先验。
比如,高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。就是如果似然函数的高斯分布,选择一个高斯先验能够确保后验分布依旧是高斯分布。
具体来说,给定贝叶斯公式 p ( θ ∣ x ) = p ( x ∣ θ ) p ( θ ) ∫ p ( x ∣ θ ′ ) p ( θ ′ ) d θ ′ p ( \theta | x ) = \frac { p ( x | \theta ) p ( \theta ) } { \int p ( x | \theta ^ { \prime } ) p \left( \theta ^ { \prime } \right) d \theta ^ { \prime } } p(θ∣x)=∫p(x∣θ′)p(θ′)dθ′p(x∣θ)p(θ),假定似然函数 p ( x ∣ θ ) p(x|\theta) p(x∣θ)已知,问题就是选择什么样的先验分布 p ( θ ) p(\theta) p(θ)会让后验分布于先验分布具有相同的数学形式。
共轭先验的好处主要在于代数上的方便性,可以直接给出后验分布的封闭形式,否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。所有指数家族的分布都有共轭先验。