LDA基础知识系列 ----(1)共轭先验分布

  理解LDA，可以分为下述5个步骤：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA
一个采样：Gibbs采样

  本节以简单明了的叙述方式，讲述先验概率、似然函数、后验概率、同分布，Beta-Binomial共轭等共轭先验分布内容，对必要的推导，讲述其注意事项，避免跳“坑”。

本节内容

• 共轭先验分布
• 先验概率
• 似然函数
• 后验概率
• 同分布
• Beta-Binomial共轭
  转载请注明：云南省高校数据化运营管理工程研究中心博客http://write.blog.csdn.net/mdeditor#!postId=78935021

共轭先验分布

  共轭，顾名思义，两个及以上的对象，互相牵制、控制。
  那在贝叶斯理论里呢，在已知似然函数情况下（已经有样本数据了），根据先验概率函数求后验概率，问题是：选取什么样的先验分布，会让后验分布与先验分布具有相同的数学形式呢，从这里提出了共轭分布理论。
（x为样本数据，P(x)就是归一化因子（联想全概率 $P\left( x \right)=\underset{i=1}{\overset{n}{\mathop{\sum }}}\,P({{\theta }_{i}})P(x|{{\theta }_{i}})$，如果不关心P(θ|x)的具体值，只考察θ取何值时后验概率P(θ|x)最大，则可将分母省去。）

$$P(θ|x) = \frac{{P(x|θ)P(θ)}}{{P(x)}} \propto P(x|θ)P(θ)$$

  在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律（同分布），那么，先验分布叫作似然函数的共轭先验分布，先验分布和后验分布被叫作共轭分布。

  共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象

先验概率p(θ)

  先验概率（prior probability）通俗来讲是指根据以往经验和分析得到的概率分布。就比如询问某高校的男女比例，一个同学回答“3：2”，这个概率很可能就是该同学根据身边同学的性别比例,得到的一个经验概率。

似然函数

  统计学中，似然函数是一种关于统计模型参数的函数，表示模型参数中的似然性。
计算上：给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后数据X的概率：L(θ|x)=P(X=x|θ)。比如拿一枚不确定正反概率的硬币，三正两反的似然函数就是：$C_{5}^{3}{{p}^{3}}{{(1-p)}^{2}}$（假设正面概率为P）。
  简单意思就是，把参数设出来，记为θ，那似然函数就是在参数θ下，样本事件所发生的概率表述。
  但是我们要注意在统计学中，似然和概率又不一样，概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
  例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

后验概率P(θ|x)

  在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在给出相关证据或数据后所得到的条件概率。在使用贝叶斯定理时，我们通过将先验概率与似然函数相乘并归一化，来得到后验概率分布，也就是给出某数据，该不确定量的条件分布。来个例子，计算一下吧:

  假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少？
  使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤