《PyTorch生成对抗网络编程》——读书笔记1

生成对抗网络改良方法:
①改损失函数
第一种情况：神经网络输出值为连续范围的值，均方差MSELoss()适用
第二种情况：网路设计输出为true/false或1/0，（是或不是）二元交叉熵损失BCELoss()适用
②改激活函数
有的激活函数梯度会消失，如果发生梯度消失就无法通过梯度来更新链接权重。
传统的S型激活函数在处理较大值时，具有梯度消失的缺点。这在网络训练时会
造成反馈信号减弱。ReLU激活函数部分解决了这一问题，保持正值部分良好的梯度值。
LeakyReLU进一步改良，在负值部分增加一个很小却不会消失的梯度值。
③改训练周期
④改反向传播梯度更新网络权重的方法
Adam优化器使用动量来避免进入局部最小值，并保持每个可学习参数独立的学习率。
在许多任务上，使用它的效果优于SGD优化器。
⑤LayerNorm标准化:减少神经网络参数和信号的取值范围，将均值转换为0。常见的做法是在信
号进入一个神经网络层之前将它标准化。

训练GAN:

生成器与鉴别器达到微妙的平衡才有助与相互训练。第一步，先向给鉴别器一个真实的数据样本，告诉他分类应该是1.0，鉴别器自己分类后，根据损失函数调整鉴别器。第二步，给鉴别器一个生成器的输出样本，告诉鉴别器分类应该为0.0，鉴别器鉴别后，根据损失函数还更新鉴别器，此时不更新生成器。第三步，给鉴别器一个生成器的输出样本，告诉生成器结果是1.0，鉴别器鉴别后，根据损失函数更新生成器，此时不更新鉴别器。