【神经网络】常见激活函数详解及python代码实现

前言

    1943年，心理学家Warren McCulloch和数学家Walter Pitts发表论文《A Logical Calculus Of The Ideas Immanent In Nervous Activity》(神经活动中固有思想的逻辑演算),提出了简化脑细胞的概念，也就是所谓的MP神经元模型。
    McCulloch和Pitts把神经细胞描述为带有二元输出的简单逻辑门。多个信号到达树突，然后整合到细胞体，当累计信号量超过一定阈值时，输出信号就通过轴突。

    将MP神经元模型放在数学模型中来看，我们用$x$来表示输入，假设一个神经元接收$m$个输入，令向量$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right],\omega =\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ⋮\\ {\omega }_m\end{array}\right]$$来表示输入层，接收来自其他神经元的信号。
这些信号的来源不同，对神经元的影响也不同，因此需要给他们分配不同的权重，$\omega$则表示权重。
对接收到的输入信号加权求和之后，与产生神经兴奋的阈值$\theta$相比较，得到中间结果$z$。$z$也叫做净输入（net input）,$z={\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_m{x}_m$
    最后通过阶跃函数模型神经兴奋。当$z$的值小于0时，神经元处于抑制状态，输出为-1.当$z$的值大于0时，神经元被激活，处于兴奋状态，输出为1.
$$\varphi (z)=\{\begin{array}{l}1,z\ge 0\\ -1,else\end{array}$$
这个阶跃函数，就被称为激活函数。
数学模型表示如下图：

激活函数的性质

    激活函数在神经元中是非常重要的，为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

• 连续并且可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数；
• 激活函数及其导函数要尽可能地简单，有利于提高网络计算效率；
• 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

    假设$f(x)$是一个激活函数，当$x\to -\infty$时，其导函数$f^{\prime }(x)\to 0$则称其为左饱和激活函数，当$x\to +\infty$时，其导函数$f^{\prime }(x$