InfoGAN中公式5的理解

最新推荐文章于 2022-12-03 20:37:24 发布

Barely丶

最新推荐文章于 2022-12-03 20:37:24 发布

阅读量717

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_33382034/article/details/80298186

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

博主分享了自己在阅读InfoGAN论文过程中对公式5的理解，指出G(z,c)是一个条件概率，代表给定c条件下生成器生成图片x的概率。由于数学水平限制，可能存在错误，并希望得到指正。" 106166825,8217837,面试必备：网络计算问题详解,"['网络基础', 'TCP/IP协议', '数据链路层', '网络设备', '网络协议']

摘要由CSDN通过智能技术生成

最近读了InfoGAN的论文，其中公式5我一直不是很理解，但在网上搜索也没搜到类似的问题。现记录一下个人对公式5的理解，如有错误恳请指正。
InfoGAN: https://arxiv.org/pdf/1606.03657.pdf

论文在公式4中给出了 $I(c;G(x, z))$ 的下界

I (c; G (x, z)) \geq E x \sim G (z, c) [E c' \sim P (c' | x) [l o g Q (c' | x]] + H (c)

$I(c;G(x, z)) \geq E_{x\sim G(z, c)}[E_{c' \sim P(c' | x)}[logQ(c'|x]] + H(c)$
但是该下界仍然涉及到后验概率

P(c′|x) P ( c ′ | x ) $P(c'|x)$ ，这里的x指的就是生成器

G G $G$ 生成的图片而

c^{'}

$c’$ 则是Latent code。这个概率是无法直接估计的，因此文章中使用引理5.1对该下界进行了一个变换。

引理5.1:
For random variables X, Y and function f(x, y) under suitable regularity conditions:

E x \sim X, y \sim Y | x [f (x, y)] = E x \sim X, y \sim Y | x, x' \sim X | y [f (x' | y)]

$E_{x \sim X, y \sim Y|x}[f(x, y)] = E_{x \sim X, y \sim Y|x, x' \sim X|y}[f(x' | y)]$
该定理证明见原论文附录。

下面给出公式5的个人理解, 关键在于如何理解 $G(z,c)$ , 若 $G(z, c) = \int_cP(c)P_G(x|c)$ , 则

L 1 (G, Q) = E x \sim G (z, c) [E c' \sim P (c' | x) [l o g Q (c' | x]] + H (c) = E c \sim P (c), x \sim P G (x | c), c' \sim P (c' | x) [l o g Q (c' | x)] + H (c) = E c \sim P (c), x \sim P G (x | c) [l o g Q (c | x)] + H (c)

$\begin{split} L_1(G,Q) &= E_{x\sim G(z, c)}[E_{c' \sim P(c' | x)}[logQ(c'|x]] + H(c)\\ &= E_{c\sim P(c), x \sim P_G(x | c), c' \sim P(c' | x)}[logQ(c'|x)] + H(c)\\ &= E_{c\sim P(c), x \sim P_G(x | c)}[logQ(c|x)] + H(c) \end{split}$
这里第二步到第三部的变换使用了引理5.1。

这里的 $P_G(x|c)$ 对应的是原论文中的式5第一行的G(z, c), 实际上这里的G(z, c)已经是一个条件概率了（与论文中式4（本文中的第一个公式中）的 $G(z,c)$ 其实并不是同一个东西），代表在给定c的条件下生成器产生图片x的概率。因此接下来可以用蒙特卡洛来对 $L_1(G, Q)$ 进行估计。