来源于CVPR2022的GroupNet,CAVE-based算是一个全新的东西,值得深入研究一下。其中变分推导的理解在下方。以及来源地址
*b站上有一个up主关于这个问题讲得很清晰(视频地址),本文是该视频的文字总结。
Problem Definition
给定observation variable (比如RGB图片)和latent variable (比如是RGB图片经过encoder得到的latent feature), 假设我们想知道(学习)后验概率 ,但发现 在实际中不好或者没法求解,那么我们该怎么求解这个后验概率呢?
High-level Introduction of VI Solution
先看这个蓝色笔记部分。最外圈的大圆代表的是整个概率分布空间,我们要求的后验概率 是此空间里的一个点,大圆内部还有个小圆Q,Q是这个空间里的一个概率分布family,VI要做的就是找到Q中的一个最优的替代概率分布 (此分布比后验分布好求解),其是整个Q中离 最近的分布。假设L是此空间上的距离函数,则我们要找的这个概率分布就可以表示为
如果我们能找到这样的分布 ,那么我们就可以用 去估计原来不好计算的 。
- ELBO
当我们取L为KL divergence(经常用于度量两个概率分布之间的距离)的时候,此问题变成Variational Bayes (VB) 问题。(划重点,我们的目标变成了最小化以下KL散度。)
展开KL项,
(题外话,KL散度数值上是always大于等于0的,那么在没有其他约束的条件下,。)
问题来了。。。因为 不好算,我们想通过 去估计 ,但计算 又需要用到 ,这不就套娃了吗。。。
不着急,我们先试着单独看一下KL项。
这里关于 对z积分,其实就是关于 的期望,即 ,那么上式能表示成期望形式:
第二项可以用条件概率公式继续展开:
此时,变成了三项,观察各项,发现第三项里面 与期望的对象 是无关的,所以期望符号可以直接去掉,于是得到:
此时,我们把前两项称之为 (Evidence Lower Bound)。(注意这里是负的ELBO)
那么,关于 的 为:
实际计算中,ELBO可以表示成以下形式进行计算:
我们再观察 (其为常数,因为是关于数据集本身的统计信息,我们称之为Evidence):
因为等式左边是常数,我们的目标又是最小化KL项,那么我们要做的其实就是最大化 ,既
到此,我们可以总结说:想要找到 只要最大化 的ELBO就可以了。
BTW,为啥叫Evidence Lower Bound,因为KL散度always大于等于0,所以有以下不等式:
ELBO其实就是数据Evidence 的下界。