机器学习之先验分布，后验分布，共轭先验分布

共轭先验分布的提出：某观测数据服从概率分布p(θ），当观测到新的数据时，思考下列问题：

1.能否根据新观测数据X更新参数θ；

2.根据新观测的数据可以在多大的程度上改变参数θ：θ=θ+rθ；

3.当重新估计得到θ时，给出的新参数数值θ的新概率分布p(θ|x)；

分析：根据贝叶斯公式：p(θ|x)=p(x|θ)p(θ) / p(x),其中p(x|θ)是在已知θ的情况下估计x的概率分布，又称似然函数；p(θ)是原有的θ的概率分布；要想利用观测到的数据更新参数θ，就要使更新后的p(θ|x)和p(θ)服从相同的分布，所以p(θ)和p(θ|x)形成共轭分布，p(θ)叫做p(θ|x)的共轭先验分布。

举个投硬币的例子：使用参数θ的伯努利模型，θ为正面的概率，则结果为x的概率分布为：p(x|θ)=
θx(1−θ)1-x

伯努利模型的共轭先验分布为beta分布，常见的共轭先验分布有： 总体分布二项分布泊松分布指数分布正态分布(方差已知)正态分布(方差未知)参数成功概率均值均值的倒数均值方差共轭先验分布贝塔分布Beta(α,β)伽马分布Γ(k,θ)伽马分布Γ(k,θ)正态分布N(μ,σ2)逆伽马分布IGa(α,β)

计算后验概率p(θ|x)=p(x|θ)p(θ) / p(x)~p(x|θ)p(θ) ~p(x|θ)，得到的概率分布与先验概率一致，所以最初的目标“能否根据新观测数据X更新参数θ”可以成立。

θbonvli (x+1−1)θ(x+1−1)θ(x+1−1)