激活函数在神经网络中的作用

参考文章：http://www.sohu.com/a/211320716_206784

这里做个简要总结：

1、假设神经元的激活函数为线性函数，以二分类问题为例：

若使用单层感知机，则：

只能产生出一条直线，上面的二分类问题根本无法用直线来分类，我们尝试用多个感知机组合试试：

从图中我们可以计算出，无论怎么组合，输出y始终未线性方程，无法解决非线性问题。

2、理解激活函数

每个神经元加入最简单的阶跃激活函数的时候，上面线性方程的组合过程中，我们其实类似在做三条直线的组合，如下图：

有了多条直线的线性组合后，我们可以知道能够将我们一开始非线性的数据能够进行分开，如下：