LDA学习笔记2-共轭先验

先验概率用于表达对于一组数据的预定义的常识等，在MAP,BI等算法中都要使用。

理论上函数形式可以自由选择任何一种分布以引入先验只是。但是在实际问题中，一部分函数将导致计算困难，所以最好能找到既满足数据经验，又有良好计算性质的函数。实际上，先验的选择往往是根据“哪个更好计算”而不是根据“哪个更合理”的准则来做出的。基于这个准则，有了共轭先验 Conjugate Prior 的概念

共轭先验的定义为这样：如果先验概率p(/theta)和后验概率p(/theta |X)具有相同的函数形式，即训练数据X仅影响后者的参数设定，而不是改变函数形式，则称之为一对共轭先验/后验。显然，这种形式将大大简化计算。

在文本模型中，最常用的相关模型为beta-bernoulii分布（2分类）

先验概率p(p| a,b) =beta(p|a,b),后验概率p(p|C,a.b)=Beta(p|n1+a,n0+b)

两者在形式上保持一致，观察值仅在参数上有所体现，这将使得后续的计算大大简化

类似的当为多分类时，对应的是dirichlet-multinomal分布

注意，在文本分类中，multinomal模型是将一个文档看做一个词语序列，其分布为

它并不将文档看做一系列词语计算，因此不需要考虑组合数,下面这个式子不是我们这里使用的

,

bernoulli和multinomal为文本的经典模型，所以beta和dir分布因为函数形式与之为共轭，因此通常作为先验概率使用