【深度学习】之激活函数篇[Sigmoid、tanh、ReLU、Leaky ReLU、Mish、Hardswish、SiLU]附绘图Python代码。
激活函数的作用为卷积神经网络提供非线性1、Sigmoid激活函数Sigmoid激活函数是常用的连续、平滑的“s”型激活函数,其数学定义比较简单,如公式1所示:简单来说,Sigmoid函数以实数输入映射到(0,1)区间,用来做二分类。对于一个极大的负值输入,它输出的值接近于0;对于一个极大的正值输入,它输出的值接近于1。Sigmoid激活函数曾一度被不同的网络使用,从Sigmoid及其导数曲线图可知,当输入的值非常小或者非常大时,其Sigmoid输出的值接近0或者1,当Sigmoid函数的前一层
原创
2022-04-20 11:40:39 ·
14809 阅读 ·
2 评论