【深度学习基础知识 - 20】ReLU的特点和使用场景

ReLU是深度学习任务中常见的激活函数，这里简单介绍它的特点和使用场景。

ReLU的特点

• ReLU是一个分段函数，当输入小于零的时候，输出为零，当输入大于零的时候，将输入值作为输出。

ReLU的使用场景

• 主要用于避免梯度消失和梯度爆炸。对于梯度消失，因为sigmoid的梯度最大值只有0.25，在链式求导过程中可能就会导致梯度消失，而ReLU在激活函数大于零的时候梯度恒为1，因此可以有效避免梯度消失和梯度爆炸的现象。点我看梯度消失和梯度爆炸的概念和解决方案
• 另一方面，采用ReLU激活函数能够使得网络的收敛速度加快。
• 但是如果说希望网络最后输出一张图片，那么肯定是希望这张图像的像素在0到1之间，这个时候仍然可以在输出层采用sigmoid激活函数，将网络的输出限制到0到1之间。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。