Q1:GAN 对噪声 z 的分布有要求吗?常用有哪些分布?
A1:对噪声z的分布一般没有做特别的要求,常用的分布有高斯分布,均匀分布。此外噪声数据的维度至少要达到数据流形的内在维数,才可以产生足够的diversity,例如:常见MNINST大概是6维,celebA大概是20维。
Q2:GAN 的 adversarial 体现在哪里?
A2:生成器G和判别器的博弈,生成器G需要尽量拟合真实样本分布p_data,而判别器D需要区分开真实样本数据和生成样本数据。
Q3:G 和 D 的 loss 分别是什么? Pdata,Pg 的 JS divergence 和 adversarial loss之间存在什么关系?
A3:
Q4:GAN 是怎样训练的?
Q5:在一轮迭代中,G 和 D 的更新次数哪个多?为了让 G 学得更好一点,能不能让 G 多更新?
A5:D的更新次数更多,如果G更新太多会导致diversity不足。
Q7:在 GAN 中添加 batch normalization 层有什么作用?
A7:添加BN层主要为了更稳定,其一:解决了随机初始化参数不理想;其二:防止梯度爆炸,只是降低概率,其他不可控的因素还是可能导致梯度爆炸;
Q8:DCGAN 对激活函数做了哪些限制?
Q9:DCGAN 哪些地方使用卷积,哪些地方使用反卷积(fractional-strided卷积),哪些地方使用全连接?
Q10: GAN 的隐空间的每个维度是否有明确的含义?
A10:原始GAN没有明确定义,各个维度交织在一起,共同决定生成图像的某些属性。之后的论文,InfoGAN、ACGAN对隐空间做disentangle就有了。