神经网络中的激活函数的作用和选择

f(*)称为激活函数或激励函数（Activation Function），激活函数的主要作用是完成数据的非线性变换，解决线性模型的表达、分类能力不足的问题;

激活函数的主要作用是改变之前数据的线性关系，如果网络中全部是线性变换，则多层网络可以通过矩阵变换，直接转换成一层神经网络。所以激活函数的存在，使得神经网络的“多层”有了实际的意义，使网络更加强大，增加网络的能力，使它可以学习复杂的事物，复杂的数据，以及表示输入输出之间非线性的复杂的任意函数映射。

激活函数的另一个重要的作用是 执行数据的归一化，将输入数据映射到某个范围内，再往下传递，这样做的好处是可以限制数据的扩张，防止数据过大导致的溢出风险。

这里还要提一下：为什么要使用非线性的激活函数？

因为如果使用线性的激活函数，那么输入x跟输出y之间的关系为线性的，便可以不需要网络结构，直接使用线性组合便可以。只有在输出层极小可能使用线性激活函数，在隐含层都使用非线性激活函数。

由 y = w * x + b 可知，如果不用激活函数，每个网络层的输出都是一种线性输出，而我们所处的现实场景，其实更多的是各种非线性的分布。

这也说明了激活函数的作用是将线性分布转化为非线性分布，能更逼近我们的真实场景。

神经网络中的激活函数的作用和选择