【激活函数】sigmoid, tanh,relu理解

三个激活函数图像如下:
在这里插入图片描述

  • 如果你的函数值区和定义域都是正值,那么用tanh和sigmoid都可以达到比较好的效果,如果函数数值区和定义域有一个为负数(例如y=x^2, x在(-0.5 0.5))那么必须使用tanh才能达到好的效果。综上:曲线模型最好选择tanh函数。

  • relu常用于分类、聚类,因为类别都是正值标签例如001,010,100等One-hot编码,因此relu非0即1的选择最好。

©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页