ReLU激活函数在神经网络中因其非线性性质和防止过拟合的优势而广泛应用。通过数学解释，ReLU将超平面折叠，使得高维空间能够拟合任意函数，从而证明其非线性。尽管在某些部分线性，但整体效果体现了非线性转换。
ReLU激活函数的非线性性质
本文节选自学习笔记（四），单独探讨ReLU激活函数的非线性性，并进行数学说明。
非线性激活函数：同一般的神经网络相同，采用非线性激活函数能够使网络全过程训练摆脱单一的线性关系，让feature map获得的特征更加符合现实。在大部分CNN网络架构当中，采用ReLU函数作为激活函数，ReLU函数表示如下：
R e L U = { x , if x > 0 0 , if x ≤ 0 ReLU= \begin{cases} x, & \text {if $x$ $>$ 0} \\ 0, & \text{if $x$ $\leq$ 0} \end{cases} ReLU={
x,0,
最低0.47元/天 解锁文章
扫一扫
4466
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
