5分钟搞定ReLU：最受欢迎的激活功能

全文共1647字，预计学习时长5分钟

 

图源：unsplash

神经网络和深度学习中的激活函数在激发隐藏节点以产生更理想的输出方面起着重要作用，激活函数的主要目的是将非线性特性引入模型。

 

在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。可以将标准集成电路视为激活功能的控制器，根据输入的不同，激活功能可以“打开”（ON）或“关闭（OFF）”。

 

图1：Sigmoid；图2：tanh

Sigmoid和tanh是单调、可微的激活函数，在RELU出现前比较流行。然而，随着时间的推移，这些函数会饱和，导致梯度消失。另一种常用的激活函数可以解决这一问题：直线修正单元(ReLU)。