神经网络中激活函数选择法则

激活函数选择法则：
1.首先尝试ReLU,速度快,但要注意训练的状态.
2.如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。
3.尝试tanh正切函数(以零点为中心,零点处梯度为1)
4.sigmoid/tanh在RNN（LSTM、注意力机制等）结构中有所应用，作为门控或者概率值.
5.在浅层神经网络中，如不超过4层的，可选择使用多种激励函数，没有太大的影响。