标签(空格分隔): 王小草机器学习笔记
笔记整理时间:2016年12月30日
笔记整理者:王小草
1. 共轭先验分布
1.1 β分布
在进入正题之前,先来了解一下beta分布。
Γ函数
Γ函数是阶乘在实数上的推广。
β分布
Beta分布的概率密度函数为:
f(x) =
其中系数B为:
Γ函数可以堪称是阶乘的实数域推广。
Beta分布的期望可以定义为:
1.2 共轭先验分布
回顾贝叶斯分类算法,通过先验概率和条件概率去计算求得后验概率。如下公式,如果目的是去找后验概率P(θ|x)最大的类别,而不关心P(θ|x)具体的值,那么可以将分母P(x)省去。
在贝叶斯概率理论仲,如果后验概率P(θ|x)和先验概率P(θ)满足同样的分布律,那么,先验分布和后验分布被叫做“共轭分布”,同时,先验分布叫做似然函数的共轭先验分布。
1.3 二项分布与先验
投掷一个非均匀的硬币,可以使用参数为θ的伯努利模型,θ为硬币为正面的改了,那么x的分布形式是: