常见激活函数的汇总

最新推荐文章于 2024-10-07 18:59:00 发布

D0644727

最新推荐文章于 2024-10-07 18:59:00 发布

阅读量252

点赞数

分类专栏：机器学习文章标签：深度学习神经网络 python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/d0644727/article/details/109696367

版权

本文汇总了深度学习中常见的激活函数，包括tf.nn.sigmoid、tf.math.tanh、tf.nn.relu和tf.nn.leak_relu。sigmoid函数在多级级联时易导致梯度消失，而tanh函数在反向传播时计算相对较慢。relu函数可能出现神经元死亡问题，leak relu则作为relu的改进版。对于初学者，推荐使用relu激活函数，并配合合适的学习率和输入特征标准化。

摘要由CSDN通过智能技术生成

激活函数

tf.nn.sigmoid(x)

相当于对数据进行归一化，
但是在实际应用过程中，他的导数在0-0.25之间，并且他在多级级联的时候会造成梯度的消失，因此在实际应用过程中很少应用。
并且逆运算为指数，在反向传播过程中耗时
在这里插入图片描述

tf.math.tanh(x)

在这里插入图片描述

tf.nn.relu()

反向传播过程中会出现由于出现负数不能激活神经元，导致其“死亡”的情况。
在这里插入图片描述

tf.nn.leak_relu(x)

在这里插入图片描述
初学者的激活函数的选择建议：
1.首选relu激活函数
2.学习率设置较小的值

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。