为什么神经网络要使用激活函数？

激活函数是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入经过一系列乘加运算后作用于另一个函数，这个函数就是激活函数。激活函数最终决定了是否传递信号以及传递给下一个神经元的内容。

因为神经网络中的每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换。如下图，如果没有激活函数，那么就相当于是一个线性激活函数g(z)=z，这个时候无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合并不能解决更为复杂的问题。

 引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经网络可以逼近任何非线性函数，这样使得神经网络应用到更多非线性模型中。

为了增强网络的表示能力和学习能力，激活函数需要具备一下几点性质：

1.连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数据优化的方法来学习网络参数。

2.激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。

3.激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。