深度学习正则化技术Dropout

每次step(包括一次正向传播，一次反向传播)，每个神经元包括输入神经元，不包括输出神经元，有一定概率的被临时丢掉，意味着他将被忽视在这次整个step中，但下次可能会在被激活。

超参数p,dropout rate 一般设置0.5。

设置后每个神经元将有0.5的概率被失活，未被失活的将被1/（1-rate）放大

# 定义dropout层
layer = tf.keras.layers.Dropout(0.2, input_shape=(2,))
# 定义输入数据
data = np.arange(1, 11).reshape(5, 2).astype(np.float32)
print(data)
# 对输入数据进行随机失活，training=True是让dropout生效，False代表dropout不生效。
outputs = layer(data, training=True)
print(outputs)

批标准化

在隐藏层的后面都可以加批标准化。

在神经网络接全连接层的时候，统计一下均值和方差，做一下标准归一化，标准归一化之后再进行重构。之后送入下一个网络层。

第一步求均值和方差并进行标准化

 第二步将标准化的数据进行变换重构。

gamma是尺度的变化，beta是平移的调整。

批标准化后在经过非线性变化再输出。