为什么需要非线性的激活函数？

线性的激活函数所做的工作仅仅是将输入数据进行线性组合后再输出，如果只使用现行的激活函数，那么即便神经网络的层数再多、隐藏单元的个数再多也没啥卵用，最终还是将数据进行线性组合后就输出了，而且很多时候数据的复杂程度是线性函数根本无法学习的！

其实实际运用中，隐藏层使用线性激活函数的场景非常非常非常少，可能除了与压缩有关的一些非常特殊的情况才会在隐藏层使用线性激活函数，否则大部分都是在隐藏层使用非线性的激活函数。

只有一个地方可以使用线性的激活函数，就是针对回归问题，比如房价预测，但是也仅仅限制在输出单元，也就是输出层使用线性激活函数，隐藏单元还是别用线性激活函数了，你可以使用ReLU、tanh、leaky ReLU都可以