计算机视觉 | 面试题:05、常见的三种激活函数sigmoid、tanh和ReLU,以及它们各自的特点和用途。
最新推荐文章于 2022-09-27 12:47:33 发布
本文介绍了深度学习中常用的激活函数sigmoid、tanh和ReLU,包括它们的作用、特点和应用场景。激活函数引入非线性,使模型更丰富。tanh相对于sigmoid在深度网络中能更好地保持零均值,有利于收敛;RNN中通常选择tanh是因为ReLU可能导致梯度爆炸。针对ReLU的‘死亡’问题,可以考虑使用Leaky ReLU或调整学习率策略。
摘要由CSDN通过智能技术生成