四种激活函数(Relu Linear Sigmoid Tanh)

整流器

https://en.wikipedia.org/wiki/Rectifier_(neural_networks)

Rectifier (neural networks)

维基百科，自由的百科全书

整流器（蓝色）和softplus（绿色）的曲线在 x  = 0附近起作用

在人工神经网络的上下文中，整流器是定义为的激活函数

{\ displaystyle f（x）= \ max（0，x），}

其中x是到神经元的输入。这也称为斜坡函数，并且类似于电气工程中的半波整流。这种激活函数首先由Hahnloser等人引入动力网络。在2000年的论文在自然^[1]具有强大的生物动机和数学理由。^[2]它被广泛应用于卷积网络^[3]，比广泛使用的逻辑sigmoid（灵感来自概率论 ;见逻辑回归）和其更实用的^[4]对应，双曲正切。整流器是，到2015年，最深入的神经网络最流行的激活功能。^[5]

使用整流器的单元也称为整流线性单元（ReLU）。^[6]

整流器的平滑近似是分析函数

{\ displaystyle f（x）= \ ln（1 + e ^ {x}），}

这称为softplus功能。^[7] softplus的派生{\ displaystyle f'（x）= e ^ {x} /（e ^ {x} +1）= 1 /（1 + e ^ { - x}）}，即对数函数。

整流线性单位在计算机视觉^[3]和语音识别^[8] [9]中应用深层神经网络。

逻辑函数 https://en.wikipedia.org/wiki/Logistic_function#In_ecology:_modeling_population_growth

维基百科，自由的百科全书

有关循环关系，请参见 逻辑图。

标准逻辑sigmoid函数  {\ displaystyle k = 1，x_ {0} = 0}

对数函数或对数曲线是常见的“S”形（S形曲线），其等式：

{\ displaystyle f（x）= {\ frac {L} {1+ \ mathrm {e} ^ { - k（x-x_ {0}）}}}}

哪里

• e = 自然对数底（也称为欧拉数），
• x ₀ = Sigmoid中点的x值，
• L =曲线的最大值，和
• k =曲线的陡度。^[1]

对于从-∞到+∞ 的实数范围内的x的值，获得右侧所示的S曲线（随着x接近+∞，f接近L的曲线图，并且当x接近-∞时接近零）。

该功能是在1844年至1845年名为皮埃尔·弗朗索瓦费尔哈斯，谁在与人口增长研究它。^[2]生长的初始阶段大约是指数的 ; 然后，随着饱和开始，生长减慢，并且在成熟时，生长停止。

物流功能发现在一系列领域，包括应用人工神经网络，生物学（特别是生态学），生物数学，化学，人口学，经济学，地球科学，数学心理学，概率，社会学，政治学，语言学和统计。

Tanh-sinh正交