GELU 激活函数
研究者表明,收到dropout、ReLU等机制的影响,它们都希望将不重要的激活信息规整为0,我们可以理解为,对于输入的值,我们根据它的情况乘上1或者0。
1还是0 得出 由 正态分布的概率分布函数决定。
概率分布函数是正态分布曲线的定积分,公式为:
正态分布曲线与x轴围成的面积是1(积分区间是负无穷到正无穷)即整个面积或者说最大面积为1。
x越大曲线与x轴围成的面积越多越趋近为1。
x越大曲线与x轴围成的面积越小越趋近为越趋近为0。
GELU = xF(x)
GELU 激活函数
研究者表明,收到dropout、ReLU等机制的影响,它们都希望将不重要的激活信息规整为0,我们可以理解为,对于输入的值,我们根据它的情况乘上1或者0。
1还是0 得出 由 正态分布的概率分布函数决定。
概率分布函数是正态分布曲线的定积分,公式为:
正态分布曲线与x轴围成的面积是1(积分区间是负无穷到正无穷)即整个面积或者说最大面积为1。
x越大曲线与x轴围成的面积越多越趋近为1。
x越大曲线与x轴围成的面积越小越趋近为越趋近为0。
GELU = xF(x)