本文介绍了神经网络中的激活函数重要性，详细讲解了Sigmoid、Tanh和ReLU三种常见激活函数的工作原理、优缺点，并讨论了梯度弥散和梯度爆炸问题。Sigmoid在深度网络中因梯度消失问题逐渐减少使用，而Tanh是对Sigmoid的改进，但仍存在梯度弥散问题。ReLU因其简单高效成为当前主流激活函数，但存在Dead ReLU问题。
一、基本神经元：
神经元模型：用数学公式表示为：
f 为激活函数，w为权重，b为偏置。人工神经网络是由神经元构成的。
二、什么是激活函数？
将线性函数转变为非线性函数，负责将神经元的输入映射到输出端。
激活函数（Activation functions）对于人工神经网络模型的学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
三、激活函数的作用：
如果不使用激活函数，我们的每一层输出只是承接了上一层输入函数的线性变换，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性的因素，使得神经网络可以逼近任何非线性函数，
最低0.47元/天 解锁文章
扫一扫
430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
