如何选择合适的激活函数?

如何选择合适的激活函数?

https://mp.csdn.net/console/editor/html/104602263

（1）通常来说，不能把各种激活函数串起来在一个网络中使用。

（2）如果使用ReLU，那么一定要小心设置学习率(learning rate),并且要注意不要让网络中出现很多死亡神经元。如果死亡神经元过多的问题不好解决，可以试试Leaky ReLU、PReLU、或者Maxout。

（3）尽量不要使用sigmoid激活函数，可以试试tanh，不过我还是感觉tanh的效果会比不上ReLU和Maxout。