深度学习:第四章:循环神经网络RNN和LSTM-CSDN博客
纳什均衡:生成器与判别器对抗、优化的过程就是在二者之间寻找一个纳什均衡
训练过程:
生成网络:在噪声中随机采样,输入模型,输出一组假数据记为G(z);在真实数据中随机采样,作为真实数据x;将以上两种数据中的随机一种给判别网络,判别网络反馈0~1;生成器根据反馈得到损失函数,更新模型。 原始的生成网络生成的样本的真实程度只能通过判别网络才知道,所以在训练生成网络时,需要联合判别网络才能达到训练的目的。生成器先将生成的假样本标签置为1,认为这些假样本在生成网络训练的时候是真样本。因为此时是通过判别器来生成误差的。当假样本足够真实,标签为1时,判别器给出的误差就会减小,这就完成了假样本向真样本逐渐逼近的过程
判别网络:根据真样本集和最初生成网络生成的假样本集训练模型(有监督二分类)
一个很重要的操作是固定判别网络的参数,不让判别网络参数更新,只是让判别网络将误差传到生成网络,更新生成网络的参数。
完成一次训练,有了新的假样本集,就可以重复上述过程
CGAN:GAN的改进,给原始GAN的生成器G和判别器D添加额外的条件信息,实现条件生成模型
DCGAN:生成器和判别器都舍弃了CNN的池化层;每一层之后都用BN层提升训练稳定性;利用1*1卷积层替换到所有的全连接层
模式坍塌