激活函数总结1:ReLU及其变体

最新推荐文章于 2023-08-12 09:44:50 发布

Chen_Swan

最新推荐文章于 2023-08-12 09:44:50 发布

阅读量4k

点赞数

分类专栏：算法

本文链接：https://blog.csdn.net/Chen_Swan/article/details/105436733

版权

本文总结了ReLU及其多种变体，包括Noisy ReLU、softplus、LeakyReLU、PReLU和ELU。这些非饱和激活函数主要用于解决梯度消失问题和加快神经网络的收敛速度。ReLU在CNN中广泛使用，但存在死ReLU问题；Noisy ReLU引入噪声以增加模型复杂性；softplus虽平滑但计算量大；LeakyReLU和PReLU通过调整负数区域斜率缓解死ReLU问题，PReLU的斜率是可学习的；ELU则在保持ReLU优势的同时，其负数区域能提供一定的鲁棒性。Dynamic ReLU则动态地根据输入数据生成分段线性函数的斜率。

摘要由CSDN通过智能技术生成

激活函数可以被分为2类，“饱和激活函数”和“非饱和激活函数”。sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：
（1）首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。
（2）其次，它能加快收敛速度。
Sigmoid函数需要一个实值输入压缩至[0,1]的范围，σ(x) = 1 / (1 + exp(−x))。
tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围，tanh(x) = 2σ(2x) − 1。