机器学习-白板推导系列笔记（十二）-变分推断（VI）

此文章主要是结合哔站shuhuai008大佬的白板推导视频： VI变分推断_126min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、背景

对于概率模型

• 从频率派角度来看就会是一个优化问题
• 从贝叶斯角度来看就会是一个积分问题

从贝叶斯来看

$$\begin{gathered} p(\hat{x}|x)={\int }_{\theta }p(\hat{x},\theta |x){\mathrm{d}}_{\theta } \\ ={\int }_{\theta }p(\hat{x}|\theta ,x)p(\theta |x){\mathrm{d}}_{\theta } \\ ={\int }_{\theta }p(\hat{x}|\theta )p(\theta |x){\mathrm{d}}_{\theta } \\ =E_{\theta |x}[p(\hat{x}|\theta )] \end{gathered}$$

Inference分为：

• 精确推断
• 近似推断（确定性近似—VI；随机近似—MCMC、MH、Gibbs）

优化问题分为：

• 回归 model：$f(w)=w^{T}x$

loss-function：无约束
$L(w)={\sum }_{i=1}^N||w^T{x}_i-y_i|{|}^2$
$\hat{w}=\arg \min L(w)$
解法：
1.解析解：求导令为$0$，得$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$
2.数值解：GD、SGD

• SVM（分类）

$f(w)=sign(w^{T}x+b)$
loss-function：有约束
$\min \frac{1}{2}{w}^{T}w$
$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,N$
connex优化 对偶

• EM

$\hat{\theta }=\arg \max \log p(x|\theta )$
${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}\int p(x,z|\theta )\cdot p(z|x,{\theta }^{(t)})dz}$

二、公式

Data：

$x$:observed variable → X : { x i } i = 1 N \rightarrow X:\left \{x_{i}\right \}_{i=1}^{N} →X:{ xi​}i=1N​
$z$:latent variable + parameter → Z : { z i } i = 1 N \rightarrow Z:\left \{z_{i}\right \}_{i=1}^{N} →Z:{ zi​}i=1N​
$(X,Z)$:complete data

引入分布$q(z)$：

$$logp(x)=logp(x,z)-logp(z|x)=log\frac{p(x,z)}{q(z)}-log\frac{p(z|x)}{q(z)}$$

式子两边同时对$q(z)$求积分：

左边$={\int }_{z}q(z)\cdot logp(x|\theta )\mathrm{d}z=logp(x|\theta ){\int }_{z}q(z)\mathrm{d}z=logp(x|\theta )$
右边$$\begin{gathered} =\underset{ELBO(EvidenceLowerBound)}{\underbrace{{\int }_{z}q(z)log\frac{p(x,z|\theta )}{q(z)}\mathrm{d}z}}\underset{KL(q(z)||p(z|x,\theta ))}{\underbrace{-{\int }_{z}q(z)log\frac{p(z|x,\theta )}{q(z)}\mathrm{d}z}} \\ =\underset{变分}{\underbrace{L(q)}}+\underset{\ge 0}{\underbrace{KL(q||p)}} \end{gathered}$$

当$q$与$p$相等时，$KL(q||p)$等于$0$，此时$KL(q||p)$取值最小，所以这时就是要使$L(q)$越大越好：

$$\tilde{q}(z)=\underset{q(z)}{\mathrm{argmax}}L(q)\Rightarrow \tilde{q}(z)\approx p(z|x)$$

我们对$q(z$)做以下假设，将多维变量的不同维度分为$M$组，组与组之间而且是相互独立的，所以：

$$q(z)=\prod _{i=1}^M{q}_i(z_i)$$

此时我们固定$q_i(z_i),i\ne j$来求$q_j(z_j)$，所以：

$$L(q)=\underset{①}{\underbrace{}}$$