共轭分布

概率学派中主要存在连个学派——频率学派和贝叶斯学派

贝叶斯学派认为事件结果的分布存在先验分布和后验分布的不同，而频率学派则认为一个事件结果的概率是固定的

基本的概率分布：

先验分布（Prior probability）,后验分布（Posterior probability),似然函数（likelyhood function）,共轭分布（Conjugacy）

共轭分布（conjugacy）

指的是后验概率分布函数和先验概率分布函数具有相同的形式。

为什么要用共轭先验？

一是可以使得先验分布和后验分布的形式相同，这样一方面符合人的直观另一方面可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

为了使得先验分布和后验分布的形式相同，我们定义：

如果先验分布和似然函数可以使得先验分布和后验分布具有相同的形式，那么就称先验分布和似然函数是共轭的。所以，共轭是指先验分布和似然函数。如果某个随机变量θ的后验概率P(θ|X)和其先验概率P(θ)属于同一个分布族，那么称P(θ|X)和P(θ)为共轭分布，同时称P(θ)是P(θ|X)的共轭先验。

参数估计

离散型随机变量分布：二项式分布，多项式分布；
连续型随机变量分布：正态分布。
他们都可以看作是参数分布，因为他们的函数形式都被一小部分的参数控制，比如正态分布的均值和方差，二项式分布事件发生的概率等。因此，给定一堆观测数据集（假定数据满足独立同分布），我们需要有一个解决方案来确定这些参数值的大小，以便能够利用分布模型来做密度估计。这就是参数估计。

从两个学派考虑参数估计：

频率学派：通过某些优化准则（比如似然函数）来选择特定参数值；
贝叶斯学派：假定参数服从一个先验分布，通过观测到的数据，使用贝叶斯理论计算对应的后验分布。
先验和后验的选择满足共轭，这些分布都是指数簇分布的例子。

下面给出贝叶斯公式：

贝叶斯公式：
先验分布：

似然函数：

后验分布：

则他们的关系可以用贝叶斯公式进行连接：后验分布 = 似然函数*先验分布 / P(x)

Gamma函数：

Gamma函数其实就是阶乘的函数，比如n! = 123…，这个阶乘不仅仅局限于整数，而更一般的函数形式就是Gamma函数：

实例

二项分布和beta分布：
二项分布（Binomial distribution）X~B(n, p)
beta分布（beta distribution），一组定义在区间(0, 1)的连续概率分布，哟两个参数α > 0和β > 0。它是一个座位伯努利分布和二项分布的共轭先验分布的密度函数。beta分布的概率密度函数是：

记X~Beta(α, β),其中分母函数为B函数，是一个标准化函数，它可以使得这个分布的概率密度积分为1。
B函数和Gamma函数的关系可以表示成：

Beta分布的期望可以用α， β来估计：

多项式分布于狄利克雷分布：

狄利克雷分布（Dilichlet distribution）是多项式分布的共轭分布，也就是它与多项式分布具有相同形式的分布函数。

多项式分布式二项分布的推广，在n次独立实验中每次只输出K中结果中的一个，且没种结果都有一个确定的概率P。
三项多项式分布表达：

三维Dilichlet分布：

多项式分布：

多维Dilichlet分布：

多项式分布代入似然函数

Dirichlet分布代入先验分布

后验概率

LDA（Latent Dilichlet Allocation）
主题模型的概率表示：

这里是引用
p(词语|文档)可通过观察数据集求得。那么右边的两个概率分布如何求得的？将这两个分布看着是上帝的游戏：上帝为了创造一篇文档，先用一个有M个面的骰子做实验，M个面代表M个主题，每做一次投骰子实验，就可以得到M个主题中的一个，进行多次投掷，就可以得到一篇文档的多个主题，可以看到这个实验描述的分布就是多项式分布。同样的某个主题下有多个词语，某个主题骰子有N个面，每个面表示一个词语（即词袋），每做一次投骰子实验，就可得到N个词中的一个，进行多次投掷，就可以得到一个主题下多个词语，同样可以看出这个实验也服从多项式分布。我们可以将他们的先验都取Dirichlet分布。

作者：Arya鑫
链接：https://www.jianshu.com/p/bb7bce40a15a
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。