为什么使用Relu函数

此公众号会发表计算机考研（初复试信息）、夏令营等资料，方便考研人对信息的获取，节约自身查找资料的时间

这个问题有点像问，吃涮羊肉为什么蘸芝麻酱？

标准答案是：10亿AI调参侠都在用，用了都说好。

但如果我们稍微深究一下，会更加深记忆，也增加对深度学习过程的理解。

首先我们要明白，为什么要蘸东西吃？即：

为什么要使用sigmoid，tanh，ReLU等非线性函数？

这个原因大家都知道，为了增加非线性呗！

深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。

那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？

肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。

就是铅笔不够画的，咱得上带颜色、笔触更丰富的油画笔。

那为什么用ReLU呢？

我们先看ReLU和他的老对手sigmoid长什么样：

ReLU函数：

Sigmoid函数：

对比这俩函数能看出来，sigmoid有一个“梯度消失”的问题。

梯度消失什么意思呢？就是我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了。

相比之下，ReLU输出就很稳定，因为他z>0区间就是一个线性函数！不存在sigmoid的梯度消失的问题。

另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大；不符合的，一刀切掉。

反观sigmoid就要黏糊的多。这个函数是很对称很美，但它面对负的z值仍然剪不断理还乱，会输出一个小的激励值（tanh会好一些但仍不能避免），形成所谓的“稠密表示”。

最后的最后，ReLU运算速度快，这个很明显了，max肯定比幂指数快的多。

天下武功，唯快不破。

当然，ReLU并不是终点，对激励函数的研究在行业内非常活跃，这里也不展开了。

转载自知乎：https://zhuanlan.zhihu.com/p/46255482