激活函数
文章平均质量分 71
深度学习探索者
有事做,有人爱,有所期待
展开
-
【激活函数】Softmax 和 Maxout 激活函数
已经有前辈撰写关于讲解这两个激活函数并且通俗易懂的文章了,本人在此就不赘述,链接奉上,内容值得细细品读。原创 2024-01-10 11:02:25 · 461 阅读 · 0 评论 -
【激活函数】PReLU 激活函数
PReLU(Parametric Rectified Linear Unit)激活函数是ReLU(Rectified Linear Unit)激活函数的一种改进。它是由 He et al. 在 2015 年提出的,旨在解决ReLU激活函数的一些局限性。原创 2024-01-06 16:37:19 · 1774 阅读 · 0 评论 -
【激活函数】SELU 激活函数
SELU (Scaled Exponential Linear Unit) SELU是对ELU激活函数的改进,通过引入自动标准化机制,使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。原创 2024-01-06 12:45:10 · 2319 阅读 · 0 评论 -
【激活函数】GELU 激活函数
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数,相较于 ReLU 等激活函数,GELU 更加平滑,有助于提高训练过程的收敛速度和性能。原创 2024-01-05 14:23:27 · 2066 阅读 · 0 评论 -
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数(2024最新整理)
激活函数(activation function)的作用是对网络提取到的特征信息进行非线性映射,提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。原创 2024-01-05 13:57:06 · 1266 阅读 · 0 评论