激活函数的选择,sigmoid/tanh/ReLU的比较
原文:https://www.cnblogs.com/makefile/p/activation-function.html#undefined©康行天下(只摘取部分内容)激活函数选择首先尝试ReLU,速度快,但要注意训练的状态. 如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。 尝试tanh正切函数(以零点为中心,零点处梯度为1) sigmoid/tanh...
转载
2019-04-01 13:44:40 ·
5494 阅读 ·
0 评论