TensorFlow2.x——批归一化（BatchNormalization）、droupout

批归一化（BatchNormalization）、droupout

TensorFlow已经将这两个函数集成在layers层中，因此我们只要在构建网络层中调用相应的函数即可。
代码示例：

model.add(keras.layers.BatchNormalization())
model.add(keras.layers.AlphaDroupout(rate=0.5))

网络层构建示例：

#使用序贯模型Sequential   tf.keras.models.sequential()

model = keras.models.Sequential()
model.add(keras.layers.Flatten(input_shape = [28, 28]))  
for _ in range(10):
    model.add(keras.layers.Dense(30,activation="relu"))
    model.add(keras.layers.BatchNormalization())
model.add(keras.layers.AlphaDropout(rate=0.5))   
model.add(keras.layers.Dense(10, activation="softmax"))

• 批归一化能够很好的缓解梯度消失；
• 使用AlphaDropout而不直接使用droupout原因：
  1.使用AlphaDropout均值和方差都不会变；
  2.归一化性质不变。