VARIATIONAL IMAGE COMPRESSIONWITH A SCALE HYPERPRIOR 中的公式推导

        入学以来看了几篇端到端的图像压缩模型的文章，但一开始心浮气躁，也看不下去公式，最近看到了几篇关于VAE变分自编码器推导过程，就又把看过的文章拿出来重新看了，也终于能看懂其中一些公式是怎么来的了，就在这里记录一下公式推导和注解吧。

有关VAE推导的文章可以看这些，讲的非常好：

• 变分自编码器VAE：原来是这么一回事

• 再谈变分自编码器VAE：从贝叶斯观点出发

 文章中的公式(3)如下：

每一项是如何获得的呢，首先从后验分布的拟合概率q和实际概率p的KL散度出发：

        一开始我误把散度写成了二重积分，然后发现怎么推导结果都对不上，后来才发现，这里并不是联合分布，只要对y积分就可以，然后对它继续化：

        对比最终的3式可以发现，p(x)这项没了，这是因为p(x)是一个确定的，存在的分布，只是我们写不出它的表达式而已，所以它在这里就直接被固定为了常数项。再根据论文中的解释，分别看每项的含义即可。目前先更新到这里，有时间的话会其余公式的推导的，由于本人水平有限，如果有什么错误，也请各位批评指正。