tensorflow2笔记：激活函数对应的初始化（梯度消失与梯度爆炸）

初始化和激活函数对照表

初始化	激活函数
glorot_uniform,glorot_normal	None,tanh,sigmoid,softmax
he_uniform,he_normal	relu,ELU,Leaky RELU,PRELU
lecun_normal	selu

由SELU激活函数构造的特殊网络

简介：如果构建一个仅由密集层堆叠的神经网络，并且所有隐藏层都使用SELU激活函数，则该网络是自归一化的：每层的输出倾向于在输出过程中保留平均值0和标准差1
从而解决了梯度消失/梯度爆炸的问题。

条件：

• 输入特征必须标准化（平均值为0，标准差为1）
• 每个隐藏层权重初始化必须使用LeCun初始化，即kernel_initializer=‘lecun_normal’，激活函数为SELU
• 如果使用Dropout，应该使用AlphaDropout

应该使用哪个激活函数：

通常激活函数SELU>ELU>leaky ReLU(及其变体)>ReLU>tanh>sigmoid

LeakyReLU激活函数

LeakyReLU:tf.keras.layers.LeakyReLU(alpha=0.2)
alpha:越小，负轴越接近x轴

梯度裁剪

梯度裁剪 在创建优化器时设置clipvalue,clipnorm参数

• clipvalue=1：将所有的偏导数限制在-1.0到1.0之间，可能改变梯度向量的方向
• clipnorm=1：将不改变梯度方向，但是如果向量某分量过大，将会导致某些分量几乎消除