神经网络——激活函数的作用

激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

例如，对于一个二分类问题，如下图：

利用单层的感知机, 用它可以划出一条线, 把平面分割开：

 

上图直线是由得到，那么该感知器实现预测的功能步骤如下，就是我已经训练好了一个感知器模型，后面对于要预测的样本点，带入模型中，如果,那么就说明是直线的右侧