机器学习：LDA_数学基础_5：变分推断：变分推断部分

• 最优化量是一个泛函时，需要研究所有的输入函数，找到最大化或者最小化泛函的函数就是变分
• 变分近似的过程：限制需要最优化算法搜索的函数的范围（二次函数，或者，固定基曲线函数的线性组合）

---

变分推断

• 符号假设

  1. $Z$：所有的潜在变量和参数组成的集合
  2. $X$：所有的观测变量的集合
  3. 确定了联合分布$p(X,Z)$
  4. 目标：找到后验概率分布 $p(Z|X)$, 验证模型证据$p(X)$ 的近似

• 公式

$ln p(X) = L(q) + KL(q||p)$
其中
$L(q) = \int q(Z) ln\{ \frac{p(X,Z)}{q(Z)}\} dZ$
$KL(q||p) = -\int q(Z) ln\{ \frac{p(Z|X)}{q(Z)}\} dZ$

• 常规思路：EM算法
• 新思路
  
  1. 在真实的概率分布进行操作不可以行的情况下(q(Z))不可操作
  2. 考虑$q(Z)$的受限类别
  3. 寻找这个类别中，是的KL散度达到最小值的概率分布

---

分解概率分布

• 限制$q(Z)$的范围
  $q(Z) = \prod_{i=1}^M q_i(Z_i)$
  =>平均场论
  
  1. 在所有上述形式的$q(Z)$中寻找使得下届 $L(q)$最大的概率分布
  2. 将上式带入 $L(q)$
  3. 记$q_j(Z_j)$ 为$q_j$

$L(q) = \int \prod_{i} q_i\{lnp(X,Z)-\sum_i lnq_i \}dZ$

$=\int q_j\{ \int ln p(X,Z) \prod_{i \neq j}q_idZ_i\}dZ_j - \int q_j lnq_j dZ_j + 常数$

$=\int q_j ln \hat{p}(x,Z_j)dZ_j - \int q_j lnq_j dZ_j + 常数$

其中：

$ln\hat{p}(X,Z_j) = E_{i \neq j}[ln p(X,Z)] +常数$

$E_{i \neq j}[ln p(X,Z)] = \int ln p(X,Z) \prod_{i\neq j}q_i dZ_i$

结论

• 上式中的 ， $\int q_j\{ \int ln p(X,Z) \prod_{i \neq j}q_idZ_i\}dZ_j - \int q_j lnq_j dZ_j + 常数$ 是 $q_j(Z_j)$和$\hat{p}(X,Z_j)$之间KL的散度

所以最大化上式，等价于 最小化$KL$散度。且出现在$q_j^*(Z_j)=\hat{p}(X,Z_j)$

=>
$lnq_j^*(Z_j) = E_{i \neq j}[ln p(X,Z)] +常数$

得到因子$q_j$的最优解的对数，需要求联合概率分布，然后取期望就可以。

---

分解近似的性质