深度学习入门-框架keras-11keras噪声层与层封装器

GaussianNoise

keras.layers.GaussianNoise(stddev)

应用以 0 为中心的加性高斯噪声。

这对缓解过拟合很有用 （你可以将其视为随机数据增强的一种形式）。 高斯噪声（GS）是对真实输入的腐蚀过程的自然选择。
由于它是一个正则化层，因此它只在训练时才被激活。
参数
stddev: float，噪声分布的标准差。

输入尺寸
可以是任意的。 如果将该层作为模型的第一层，则需要指定 input_shape 参数 （整数元组，不包含样本数量的维度）。

输出尺寸
与输入相同。

GaussianDropout

keras.layers.GaussianDropout(rate)

应用以 1 为中心的 乘性高斯噪声。

由于它是一个正则化层，因此它只在训练时才被激活。

参数
rate: float，丢弃概率（与 Dropout 相同）。 这个乘性噪声的标准差为 sqrt(rate / (1 - rate))。
输入尺寸
可以是任意的。 如果将该层作为模型的第一层，则需要指定 input_shape 参数 （整数元组，不包含样本数量的维度）。
输出尺寸
与输入相同。

AlphaDropout

keras.layers.AlphaDropout(rate, noise_shape=None, seed=None)

将 Alpha Dropout 应用到输入。

Alpha Dropout 是一种 Dropout， 它保持输入的平均值和方差与原来的值不变， 以确保即使在 dropout 后也能实现自我归一化。 通过随机将激活设置为负饱和值， Alpha Dropout 非常适合按比例缩放的指数线性单元（SELU）。

参数
rate: float，丢弃概率（与 Dropout 相同）。 这个乘性噪声的标准差为 sqrt(rate / (1 - rate))。
seed: 用作随机种子的 Python 整数。
输入尺寸
可以是任意的。 如果将该层作为模型的第一层，则需要指定 input_shape 参数 （整数元组，不包含样本数量的维度）。
输出尺寸
与输入相同。

TimeDistributed

用于时间序列的元素的按时间片分开

keras.layers.TimeDistributed(layer)

这个封装器将一个层应用于输入的每个时间片。
输入至少为 3D，且第一个维度应该是时间所表示的维度。
考虑 32 个样本的一个 batch， 其中每个样本是 10 个 16 维向量的序列。 那么这个 batch 的输入尺寸为 (32, 10, 16)， 而 input_shape 不包含样本数量的维度，为 (10, 16)。
你可以使用 TimeDistributed 来将 Dense 层独立地应用到 这 10 个时间步的每一个：

# 作为模型第一层
model = Sequential()
model.add(TimeDistributed(Dense(8), input_shape=(10, 16)))
# 现在 model.output_shape == (None, 10, 8)

输出的尺寸为 (32, 10, 8)。
在后续的层中，将不再需要 input_shape：

model.add(TimeDistributed(Dense(32)))
# 现在 model.output_shape == (None, 10, 32)

输出的尺寸为 (32, 10, 32)。
TimeDistributed 可以应用于任意层，不仅仅是 Dense， 例如运用于 Conv2D 层：

model = Sequential()
model.add(TimeDistributed(Conv2D(64, (3, 3)),
                          input_shape=(10, 299, 299, 3)))

参数
layer: 一个网络层实例。

Bidirectional

keras.layers.Bidirectional(layer, merge_mode='concat', weights=None)

RNN 的双向封装器，对序列进行前向和后向计算。

参数
layer: Recurrent 实例。
merge_mode: 前向和后向 RNN 的输出的结合模式。 为 {‘sum’, ‘mul’, ‘concat’, ‘ave’, None} 其中之一。 如果是 None，输出不会被结合，而是作为一个列表被返回。

异常
ValueError: 如果参数 merge_mode 非法。
例

model = Sequential()
model.add(Bidirectional(LSTM(10, return_sequences=True),
                        input_shape=(5, 10)))
model.add(Bidirectional(LSTM(10)))
model.add(Dense(5))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')