LDA主题模型-方差推断

Variance Inference

判断两个文档的相似性，不只是看出现的单词数目，有时不会出现相同的单词，这时要分析共同的主题，引入隐变量w, P=V*W,已知给定的概率p(词语|文档），求p(词语|主题) ，p(主题|文档)。引入概率图模型，设符合Dirichlet分布，

$$P(\theta|\alpha)\sim\frac{\prod\limits_{i=1}^{k}\Gamma(\alpha_i)}{\Gamma(\Sigma\alpha_i)}\prod\limits_{i=1}^{k}\theta_{d_i}^{\alpha_i-1}$$
$$\ln p(x)=\ln p(x,z)-\ln p(z|x)=\ln p(\frac{p(x,z)}{q(z)})-\ln (\frac{p(z|x)}{q(x)}) =\ln p(x,z)-\ln q(z)-\ln (\frac{p(z|x)}{q(x)})$$
$\int_d \ln p(x)q(x)=\int_z \ln p(x,z)q(z)dz-\int_z \ln q(z)q(z)dz-\int_z ln(\frac{p(z|x)}{q(x)})q(z)dz$
$$ELOB=\int_z \ln p(x,z)q(z)dz-\int_z \ln q(z)q(z)dz$$
$$KL(q,p(z|x))=-\int_z ln(\frac{p(z|x)}{q(x)})q(z)dz$$
$$\ln p(x)\geq ELOB$$

后验分布与先验分布共轭
Dirichlet分布是分布的分布
$Z_{d,n}$是辅助变量的先验分布是一个多项式分布，故后验也是多项式分布
$W_{d,n}$是观测值
$\beta_k,\theta_d$的后验分布也是Dirichlet分布

$$p(Z_{d,n}=k|\beta_k,\theta_d,w_{d,n})\approx p(Z_{d,n}=k|\Phi_{d,n}^k)[1]$$

$$p(Z_{d,n}=k|\beta_k,\theta_d,w_{d,n})\propto p(Z_{d,n}=k|\theta_{d,n}^k) p(w_{d,n}|\beta_k,Z_{d,n}=k)=exp(\log \beta(k,w_{d,n})*\theta_{d,k})*1$$
$$\Phi_{d,n}^k=E_{q(\beta_k),q(\theta_d)}[\log \beta(k,w_{d,n})+\log \theta_{d,k}]=E_{q(\beta_k)}\log \beta(k,w_{d,n})+E_{q(\theta_d)}\log \theta_{d,k}=\Psi(\lambda_k,w_{d,n})-\Psi(\Sigma_{v} \lambda_k,v)+\Psi(\gamma_{d,k})-\Psi(\Sigma_{k} \gamma_{d,k})$$
$$已知(x_1,x_2,...x_n)\sim DIR(\alpha_1,\alpha_2,...\alpha_n)$$
$$E[x_i]=\frac{\alpha_i}{\Sigma \alpha_i}$$
$$E[\log (x_i)]=\Psi(\alpha_i)-\Psi(\Sigma \alpha_i)$$

[1]使KL最小，

$$(\gamma^*,\phi^*)=\mathop {argmin }\limits_{\gamma,\phi}^{} D(q(\theta,z|\phi,\gamma)|p(\theta,z|w,\alpha,\beta))$$

然后迭代求值$\phi,\gamma$