生成网络（generative adversarial network, gan)

（1）转置卷积

微步幅卷积，工作方式与卷积操作相反，简单来说，尝试计算出如何将输入向量映射到更高的维度。 

（2）批归一化

在之前的例子中，数据在进入网络之前做的归一化处理，无法保证中间层获得是归一化的输入。

在此处我们引入批归一化，其类似于中间函数，或当均值和方差在训练中随时间变化时用于归一化中间数据的层。

批归一化在训练、验证、测试期间的表现不同。训练期间，均值和方差在批数据上进行计算。 

验证和测试时，使用的是全局值。

使用批归一化主要优点在于：

改善网络中梯度流，有助于构建更深层的网络；允许更高的学习率，降低对初始化 的强依赖，作为一种正则化形式，减少嘞对dropout的依赖。

通常在卷积层或线性层/全连接层后插入。