A Bayesian Hierarchical Model for Learning Natural Scene Categories

Mathematics

伯努利分布（Bernoulli Distribution）：0-1分布（或两点分布）。

Reference:

http://maider.blog.sohu.com/306392863.html

多项式分布（Multinomial Distribution）：二项式分布的推广。

γ分布（Gamma Distribution）：与β分布的联系。

β分布（Beta Distribution）：很容易可得到最大值对应的因变量的值。与贝叶斯公式的联系——先验概率作为自变量，符合β分布。

Reference:

http://www.360doc.com/content/10/1221/13/3804236_80048980.shtml

狄利克雷分布（Dirichlet Distribution）：分布的分布。

Reference:

http://blog.sina.com.cn/s/blog_67d185b801018r8l.html

共轭先验分布（Conjugate Prior）

根据贝叶斯公式，之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样一方面合符人的直观（它们应该是相同形式的；另外一方面是可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同就可以形成一个链条。为了使得先验分布和后验分布的形式相同，我们定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。所以共轭是指：先验分布和似然函数共轭。

Reference:

http://blog.csdn.net/polly_yang/article/details/8250161

Summary

以上概率分布模型简单来说可通过有限次试验得到的参数值来估计先验概率的最可能的值，然后根据贝叶斯公式和共轭先验分布得到后验概率最可能的值。

Notes

设theme的总数为K，codeword的总数为T，每个theme对应着一个由T个codeword组成的概率分布，记录在K x T的矩阵β中。

设category的总数为C，每个category对应着一个由K个theme组成的狄利克雷分布，记录在C x K的矩阵θ中，每一行记录了一个category的狄利克雷参数。