王小草【机器学习】笔记--主题模型LDA

标签（空格分隔）： 王小草机器学习笔记

---

笔记整理时间：2016年12月30日
笔记整理者：王小草

---

1. 共轭先验分布

1.1 β分布

在进入正题之前，先来了解一下beta分布。

Γ函数
Γ函数是阶乘在实数上的推广。

β分布
Beta分布的概率密度函数为：

f(x) =

其中系数B为：

Γ函数可以堪称是阶乘的实数域推广。

Beta分布的期望可以定义为：

1.2 共轭先验分布

回顾贝叶斯分类算法，通过先验概率和条件概率去计算求得后验概率。如下公式，如果目的是去找后验概率P(θ|x)最大的类别，而不关心P(θ|x)具体的值，那么可以将分母P(x)省去。

在贝叶斯概率理论仲，如果后验概率P(θ|x)和先验概率P(θ)满足同样的分布律，那么，先验分布和后验分布被叫做“共轭分布”，同时，先验分布叫做似然函数的共轭先验分布。

1.3 二项分布与先验

投掷一个非均匀的硬币，可以使用参数为θ的伯努利模型，θ为硬币为正面的改了，那么x的分布形式是：