生成网络不断升级,判别网络也不断应对升级。
x^是生成网络输出的图→0;x是真图→1。
判别器:max训练θd,判断真假。~交叉熵
生成器: min训练θg,让D判断出来(生成的样本)接近1(真实)。
最后sigmoid
两个交替循环。
问题:
在一开始生成差,梯度也慢。最后生成好,梯度块,但是已经没啥用了。
→
在高密度地方更好。
加一个和θ无关的,仍然不影响目标。
实际上就是优化KL散度。
如何定一个PG?
这里得到的分数,也是距离的衡量。
a,b是固定的。
带回去:
最大化,就是JS散度。优化的就是JS散度,这叫做距离。
最大化蓝线高度,找最小的值。
可视化后如上图,判别器给假图打低分,真图打高分。即b训练判别器,然后c训练生成器,bc反复交替。
总结
用卷积层中的stride代替pooling。
DCGAN提出的是经验。
Tanh梯度有正有负,便于梯度训练。
计算机视觉视频: 有一些没有仔细看,最后一节论文分析没有仔细看,介绍了GAN的改进。以后应用的时候返回去看就行。