目录(注意本文jupyterlab编写)
初始化和激活函数对照表
| 初始化 | 激活函数 |
|---|---|
| glorot_uniform,glorot_normal | None,tanh,sigmoid,softmax |
| he_uniform,he_normal | relu,ELU,Leaky RELU,PRELU |
| lecun_normal | selu |
由SELU激活函数构造的特殊网络
简介:如果构建一个仅由密集层堆叠的神经网络,并且所有隐藏层都使用SELU激活函数,则该网络是自归一化的:每层的输出倾向于在输出过程中保留平均值0和标准差1
从而解决了梯度消失/梯度爆炸的问题。
条件:
- 输入特征必须标准化(平均值为0,标准差为1)
- 每个隐藏层权重初始化必须使用LeCun初始化,即kernel_initializer=‘lecun_normal’,激活函数为SELU
- 如果使用Dropout,应该使用AlphaDropout
应该使用哪个激活函数:
通常激活函数SELU>ELU>leaky ReLU(及其变体)>ReLU>tanh>sigmoid
LeakyReLU激活函数
LeakyReLU:tf.keras.layers.LeakyReLU(alpha=0.2)
alpha:越小,负轴越接近x轴
梯度裁剪
梯度裁剪 在创建优化器时设置clipvalue,clipnorm参数
- clipvalue=1:将所有的偏导数限制在-1.0到1.0之间,可能改变梯度向量的方向
- clipnorm=1:将不改变梯度方向,但是如果向量某分量过大,将会导致某些分量几乎消除
本文探讨了深度学习中初始化和激活函数的选择,特别强调了SELU激活函数在自归一化网络中的应用。当使用SELU时,网络权重应采用LeCun初始化,以保持层间输出的平均值为0,标准差为1,防止梯度消失或爆炸。此外,还介绍了LeakyReLU作为替代激活函数,并提到了梯度裁剪的两种方式。

被折叠的 条评论
为什么被折叠?



