parameter estimation for text analysis

$$p(\theta |X)=\frac{p(X|\theta )p(\theta )}{p(X)}$$
其中$p(\theta )$称为先验，$p(X|\theta )$称为似然，$p(\theta |X)$称为后验,$p(X)$称为evidence ,又叫边际似然（marginal likelihood）。

最大似然估计(MLE)是最大化似然函数$p(X|\theta )$。
最大后验概率(MAP)是最大化$p(X|\theta )p(\theta )$

两者都是点估计。最大后验概率是对参数指定一个先验分布。得到的值介于先验和MLE之间。

贝叶斯估计是基于贝叶斯公式进行求解，它将参数$\theta$也看做随机变量，为$\theta$指定一个先验分布，通过计算得到$p(\theta |X)$。

共轭

对似然函数，选定一个先验后，得到一个与先验具有相同函数形式的的后验分布（除了系数不同），此时，我们说先验分布和后验分布是共轭的，同时，这个先验是似然的共轭先验。

Conjugate Prior: In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. ----from wiki

共轭的好处是计算方便，同时超参数有明确的物理意义，就是伪计数。另外一个好处就是在计算似然函数时可以把似然函数中的参数通过积分给消掉，从而把似然表示为超参数的函数。这个要通过推导才能看出来。

在定义似然函数时，以伯努利分布和二项分布为例，什么时候要在似然函数上加上二项分布的系数，什么时候不加？当我们只是对一系列伯努利实验的结果序列进行建模时不用加系数。当我们对一系列伯努利实验的每个结果的次数进行建模时就要加上系数。

这里的叙述可能有问题，二项分布的似然函数的表达式是$p^k(1-p{)}^{n-k}$

unigram model假设文档之间独立，词之间也独立，那么生成一个文档的过程就是一个多次的多项式分布实验，重复N次就生成了N个单词。这是最简单的模型，其实就是多次的多项式分布实验。

其实也可以给unigram model中的单词被选中的概率一个先验分布，从而使用贝叶斯估计的那一套来进行计算。

贝叶斯网络是一类图模型，用来表示概率分布和条件依赖。
贝叶斯网路是一个有向图，节点表示随机变量，边表示条件关系，其中观测变量和隐含变量的表示又有不同。盘子表示随机变量的多次重复出现，右下角是出现次数。

推导

首先应该了解gamma函数：
gamma函数是阶乘函数在实数与复数上的扩展，定义为：
$$\Gamma (x)={\int }_0^{\infty }\frac{t^x-1}{e^t}dt$$
如果x为正整数，有如下性质：
$$\Gamma (n)=n!$$

同时有如下递推公式:

$$\Gamma (x+1)=x\Gamma (x)$$

下面是Dirichlet分布，该分布是Beta分布从二维到K维的推广。

该分布的概率密度函数为：
$$\begin{gathered} f(p,\alpha )=\frac{\Gamma ({\sum }_{k=1}^K{\alpha }_k)}{{\prod }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{p}_k^{{\alpha }_k-1} \\ =\frac{1}{\Delta (\alpha )}\prod _{k=1}^K{p}_k^{{\alpha }_k-1} \\ \frac{1}{\Delta (\alpha )}=\frac{\Gamma ({\sum }_{k=1}^K{\alpha }_k)}{{\prod }_{k=1}^K\Gamma ({\alpha }_k)} \\ \alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_k) \\ p=(p_1,p_2,...,p_k) \end{gathered}$$
根据概率分布的定义:
$$\sum _{k=1}^{K}f(p_k,\alpha )=1$$
有
$$\Delta (\alpha )=\int \prod _{k=1}^K{p}_k^{{\alpha }_k-1}dp$$

上面的式子在LDA的推导中会一直用到。

collapsed LDA推导

先约定下各个符号的含义。
M：文档数
K：主题数
V：词汇表大小
$\vec{\alpha }$:文档的主题分布的先验分布的超参数
$\vec{\beta }$:主题的单词分布的先验分布的超参数
${\vec{\theta }}_m$:表示p(z|d=m),文档m的主题分布，每个文档一个向量，构成矩阵 Θ = { θ ⃗ m } m = 1 M ( M ∗ K ） \Theta=\{\vec\theta_m\}_{m=1}^M(M*K） Θ={θ m​}m=1M​(M∗K）
${\vec{\phi }}_k$表示p(t|z=k),主题k的单词分布，每个主题一个，构成矩阵 Φ = { φ ⃗ k } k = 1 K ( k ∗ V ) \Phi=\{\vec\varphi_k\}_{k=1}^K(k*V) Φ={φ ​k​}k=1K​(k∗V)

在LDA中隐含变量是每个单词的主题$z_{m,n}$
collapsed的意思是把某些参数通过积分的形式给去掉。在LDA中就是把$\Theta$和$\Phi$ 给积掉。

我们推断的目标是$p(z|w)$，即主题关于单词的后验分布。

$$p(z|w)=\frac{p(z,w)}{p(w)}=\frac{{\prod }_{i=1}^{W}p(z_i,w_i)}{{\prod }_{i=1}^W{\sum }_{k=1}^{K}p(z_i=k,w_i)}$$
$W$表示词汇表的大小
由于分母难以计算，我们使用gibbs抽样，通过计算full conditional $p(z_i|{\vec{z}}_{\neg i},\vec{w})$来模拟$p(z|w)$,而full conditional可以通过下式计算
$$\begin{gathered} p(z_i|{\vec{z}}_{\neg i},\vec{w})=\frac{p(\vec{z},\vec{w})}{p({\vec{z}}_{\neg i},\vec{w})} \\ =\frac{p(\vec{z},\vec{w})}{{\int }_{Z}p(\vec{z},\vec{x})d{z}_i} \end{gathered}$$

我们先求分子的联合分布。

$$p(\vec{w},\vec{z}|\vec{\alpha },\vec{\beta })=p(\vec{w}|\vec{z},\vec{\beta })p(\vec{z}|\vec{\alpha })$$
下面我们对两个概率分布分开处理
$$p(\vec{w}|\vec{z},\vec{\beta })=\int p(\vec{w},|\vec{z},\Phi )p(\Phi |\vec{\beta })d\Phi$$
$$\begin{gathered} p(\vec{w}|\vec{z},\Phi ) \\ =\prod _{i=1}^{W}p(w_i|z_i) \\ =\prod _{i=1}^W{\phi }_{z_i,w_i} \\ =\prod _{k=1}^K\prod _{i:z_i=k}p(w_i=t|z_i=k) \\ =\prod _{k=1}^K\prod _{t=1}^V{\phi }_{k,t}^{n_k^{(t)}} \end{gathered}$$

$n_k^{(t)}$表示单词t在主题k中出现的次数。

$$\begin{gathered} p(\Phi |\vec{\beta })=\prod _{k=1}^{K}p({\vec{\phi }}_k|\vec{\beta }) \\ =\prod _{k=1}^K\frac{1}{\Delta (\vec{\beta })}\prod _{t=1}^V{\phi }_{k,t}^{{\beta }_t-1} \end{gathered}$$

$\vec{\beta }$是一个V维的向量。

p ( w ⃗ ∣ z ⃗ , β ⃗ ) = ∫ p ( w ⃗ , ∣ z ⃗ , Φ ) p ( Φ ∣ β ⃗ ) d Φ = ∫ ∏ k = 1 K ∏ t = 1 V φ k , t n k ( t ) ∏ k = 1 K 1 Δ ( β ⃗ ) ∏ t = 1 V φ k , t β t − 1 d φ k ⃗ = ∫ ∏ k = 1 k 1 Δ ( β ⃗ ) ∏ t = 1 V φ k , t n k ( t ) + β t − 1 d φ k ⃗ = ∏ k = 1 k 1 Δ ( β ⃗ ) ∫ ∏ t = 1 V φ k , t n k ( t ) + β t − 1 d φ k ⃗ = ∏ k = 1 K Δ ( n k ⃗ + β ⃗ ) Δ ( β ⃗ ) n k ⃗ = { n k ( t ) } t = 1 V p(\vec{w}|\vec{z},\vec{\beta})=\int p(\vec{w},|\vec{z},\Phi)p(\Phi|\vec{\beta})d\Phi \\ =\int \prod^K_{k=1}\prod^V_{t=1} \varphi_{k,t}^{n_k^{(t)}} \prod_{k=1}^K\frac{1}{\Delta(\vec{\beta})}\prod_{t=1}^V\varphi_{k,t}^{\beta_t-1}d\vec{\varphi_k}\\ =\int\prod_{k=1}^k\frac{1}{\Delta{(\vec{\beta})}}\prod^V_{t=1} \varphi_{k,t}^{n_k^{(t)}+\beta_t-1}d\vec{\varphi_k}\\ =\prod_{k=1}^k\frac{1}{\Delta{(\vec{\beta})}}\int\prod^V_{t=1} \varphi_{k,t}^{n_k^{(t)}+\beta_t-1}d\vec{\varphi_k}\\ =\prod_{k=1}^K\frac{\Delta(\vec{n_k} +\vec{\beta} ) }{\Delta(\vec{\beta})}\\ \vec{n_k}=\{n_k^{(t)}\}_{t=1}^V p(w ∣z ,β ​)=∫p(w ,∣z ,Φ)p(Φ∣β ​)dΦ=∫k=1∏K​t=1∏V​φk,tnk(t)​​k=1∏K​Δ(β ​)1​t=1∏V​φk,tβt​−1​dφk​ ​=∫k=1∏k​Δ(β ​)1​t=1∏V​φk,tnk(t)​+βt​−1​dφk​ ​=k=1∏k​Δ(β ​)1​∫t=1∏V​φk,tnk(t)​+βt​−1​dφk​ ​=k=1∏K​Δ(β ​)Δ(nk​ ​+β ​)​nk​ ​={nk(t)​}t=1V​

$n_k^{(t)}$是一个K*V的矩阵，表示主题k中单词t出现的次数。符号表示不准确。

下面求$p(\vec{z}|\vec{\alpha })$

$$p(\vec{z}|\vec{\alpha })=\int p(\vec{z}|\Theta )p(\Theta |\vec{\alpha })d\Theta$$
类似地

$$p(\vec{z}|\underline{\Theta })=\prod _{i=1}^{W}p(z_i|d_i)=\prod _{m=1}^M\prod _{k=1}^{K}p(z_i=k|d_i=m)=\prod _{m=1}^M\prod _{k=1}^K{\theta }_{m,k}^{n_m^{(k)}}$$

$$\begin{gathered} p(\Theta |\vec{\alpha })=\prod _{m=1}^{M}p({\vec{\theta }}_m|\vec{\alpha }） \\ =\prod _{m=1}^M\frac{1}{\Delta (\vec{\alpha })}\prod _{k=1}^K{\theta }_{m,k}^{{\alpha }_k-1} \end{gathered}$$

$d_i$表示单词i所属的文档。$n_m^k$表示文档m中主题k出现的次数。
同样，我们把$\Theta$给积分掉。

p ( z ⃗ ∣ α ⃗ ) = ∫ p ( z ⃗ ∣ Θ ) p ( Θ ∣ α ⃗ ) d Θ = ∫ ∏ m = 1 M ∏ k = 1 K θ m , k n m ( k ) ∏ m = 1 M 1 Δ ( α ⃗ ) ∏ k = 1 K θ m , k α k − 1 d θ m ⃗ = ∫ ∏ m = 1 M 1 Δ ( α ⃗ ) ∏ k = 1 K θ m , k n m ( k ) + α k − 1 d θ m ⃗ = ∏ m = 1 M 1 Δ ( α ⃗ ) ∫ ∏ k = 1 K θ m , k n m ( k ) + α k − 1 d θ m ⃗ = ∏ m = 1 M Δ ( n m ⃗ + α ⃗ ) Δ ( α ⃗ ) n m ⃗ = { n m k } k = 1 K p(\vec{z}|\vec{\alpha})=\int p(\vec{z}|\Theta)p(\Theta|\vec{\alpha})d\Theta\\ =\int \prod_{m=1}^M\prod^K_{k=1}\theta^{n^{(k)}_m}_{m,k}\prod_{m=1}^M\frac{1}{\Delta(\vec{\alpha})}\prod_{k=1}^K\theta_{m,k}^{\alpha_k-1}d\vec{\theta_m}\\ =\int \prod_{m=1}^M\frac{1}{\Delta(\vec{\alpha})}\prod_{k=1}^K\theta_{m,k}^{n^{(k)}_m+\alpha_k-1}d\vec{\theta_m}\\ =\prod_{m=1}^M\frac{1}{\Delta(\vec{\alpha})}\int \prod_{k=1}^K\theta_{m,k}^{n^{(k)}_m+\alpha_k-1}d\vec{\theta_m}\\ =\prod_{m=1}^M\frac{\Delta(\vec{n_m}+\vec{\alpha})}{\Delta(\vec{\alpha})}\\ \vec{n_m}=\{{n_m^{k}\}}_{k=1}^K p(z ∣α )=∫p(z ∣Θ)p(Θ∣α )dΘ=∫m=1∏M​k=1∏K​θm,knm(k)​​m=1∏M​Δ(α )1​k=1∏K​θm,kαk​−1​dθm​ ​=∫m=1∏M​Δ(α )1​k=1∏K​θm,knm(k)​+αk​−1​dθm​ ​=m=1∏M​Δ(α )1​∫k=1∏K​θm,knm(k)​+αk​−1​dθm​ ​=m=1∏M​Δ(α )Δ(nm​ ​+α )​nm​ ​={nmk​}k=1K​
所以:

$$p(\vec{z},\vec{w}|\vec{\alpha },\vec{\beta })=\prod _{k=1}^K\frac{\Delta (\overrightarrow{n_k}+\vec{\beta })}{\Delta (\vec{\beta })}\cdot \prod _{m=1}^M\frac{\Delta (\overrightarrow{n_m}+\vec{\alpha })}{\Delta (\vec{\alpha })}$$

有了上面的联合分布，我们可以求单词w(m,n)的full conditional
有了这个联合分布，我们就可以使用gibbs 抽样对这个分布进行采样，因为w是观测到的已知数据，只有z是隐含变量，所以我们实际上真正需要采样的分布是$p(z|w)$。
$$\begin{gathered} p(z_i=k|{\vec{z}}_{\neg i},\vec{w})=\frac{p(\vec{z},\vec{w})}{p({\vec{z}}_{\neg i},\vec{w})} \\ =\frac{p(\vec{w}|\vec{z})}{p({\vec{w}}_{\neg i}|{\vec{z}}_{\neg i})p(w_i)}\frac{p(\vec{z})}{p({\vec{z}}_{\neg i})} \\ =\frac{{\prod }_{k=1}^K\frac{\Delta (\overrightarrow{n_k}+\vec{\beta })}{\Delta (\vec{\beta })}\cdot {\prod }_{m=1}^M\frac{\Delta (\overrightarrow{n_m}+\vec{\alpha })}{\Delta (\vec{\alpha })}}{{\prod }_{k=1}^K\frac{\Delta (\overrightarrow{n_{k,\neg i}}+\vec{\beta })}{\Delta (\vec{\beta })}\cdot {\prod }_{m=1}^M\frac{\Delta (\overrightarrow{n_{m,\neg i}}+\vec{\alpha })}{\Delta (\vec{\alpha })}} \\ \approx \frac{\Delta (\overrightarrow{n_k}+\vec{\beta })}{\Delta (\overrightarrow{n_{k,\neg i}}+\vec{\beta })}\frac{\Delta (\overrightarrow{n_m}+\vec{\alpha })}{\Delta (\overrightarrow{n_{m,\neg i}}+\vec{\alpha })} \\ =\frac{\frac{{\prod }_{t=1}^V\Gamma (n_k^{(t)}+{\beta }_t)}{\Gamma ({\sum }_{t=1}^V{n}_k^{(t)}+{\beta }_t)}}{\frac{{\prod }_{t=1}^V\Gamma (n_{k,\neg i}^{(t)}+{\beta }_t)}{\Gamma ({\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t)}}\frac{\frac{{\prod }_{k=1}^K\Gamma (n_m^{(k)}+{\alpha }_k)}{\Gamma ({\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k)}}{\frac{{\prod }_{k=1}^K\Gamma (n_{m,\neg i}^{(k)}+{\alpha }_k)}{\Gamma ({\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k)}} \\ =\frac{\Gamma (n_k^{(t)}+{\beta }_t)\Gamma ({\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t)}{\Gamma (n_{k,\neg i}^{(t)}+{\beta }_t)\Gamma ({\sum }_{t=1}^V(n_k^{(t)}+{\beta }_t))}\frac{\Gamma (n_m^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k)}{\Gamma (n_{m,\neg i}^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k)} \\ =\frac{n_{k,\neg i}^{(i)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(i)}+{\beta }_t}\frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{[{\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k]-1} \end{gathered}$$

有如下关系式。
$$\sum _{t=1}^V(n_k^{(t)}+{\beta }_t)=\sum _{t=1}^V(n_{k,\neg i}^{(t)}+{\beta }_t)+1$$
$$\sum _{k=1}^K{n}_m^{(k)}+{\alpha }_k=\sum _{k=1}^K(n_{m,\neg i}^{(k)}+{\alpha }_k)+1$$
$$\begin{gathered} n_k^{(t)}+{\beta }_t=n_{k,\neg i}^{(t)}+{\beta }_t+1 \\ {n}_m^{(k)}+{\alpha }_k=n_{m,\neg i}^{(k)}+{\alpha }_k+1 \end{gathered}$$
而gamma函数又有如下性质：
$$\Gamma (x+1)=x\Gamma (x)$$
下面求两个参数集合

利用贝叶斯公式
$$\begin{gathered} p(\overrightarrow{{\theta }_m}|M,\vec{\alpha }) \\ =\frac{1}{Z_{{\theta }_m}}\prod _{n=1}^{N_m}p(z_{m,n}|\overrightarrow{{\theta }_m})p(\overrightarrow{{\theta }_m}|\vec{\alpha }) \\ =Dir(\overrightarrow{{\theta }_m}|\overrightarrow{n_m}+\vec{\alpha }) \end{gathered}$$

$$\begin{gathered} p(\overrightarrow{{\phi }_k}|M,\vec{\beta })= \\ \frac{1}{Z_{{\phi }_k}}\prod _{i:z_i=k}p(w_i|{\vec{\phi }}_k)p({\vec{\phi }}_k|\vec{\beta }) \\ =Dir({\vec{\phi }}_k|{\vec{n}}_k+\vec{\beta }) \end{gathered}$$

如何预测新的文档的主题分布？

在训练中得到了主题关于单词的概率分布，在预测时我们认为这个概率分布式固定的，只需要预测新文档的主题分布就可以了。
分为如下几步：
1.首先，随机初始化新文档的每个单词的主题
2.按照gibbs抽样规则，对每个词的主题进行抽样，
3.重复2，直到gibbs sampling收敛。
4.统计新文档的主题分布。
参考:
1.https://zh.wikipedia.org/wiki/%CE%93%E5%87%BD%E6%95%B0
2.https://zh.wikipedia.org/wiki/%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83
3.https://cxwangyi.files.wordpress.com/2012/01/llt.pdf
4.LDA八卦