激活函数（深度学习之美）

通用近似原理告诉我们，如果“隐含层”有足够多的的神经元，那么神经网络能够以任意精度逼近任意复杂度的连续函数。
但是，由于BP算法我们可以看出，神经元与神经元之间的连接是基于权重的线性组合，因此，为了提高网络的表征性，引入激活函数，来增加非线性性。
常见的激活函数又：
Sigmoid函数：
sigmoid（X） = 1/1+exp（-x）
Tanh（x） = 2sigmoid(x) - 1
但是，sigmoid函数有很大的问题是，他的导数很小，当输入数据很大或者很小的时候，他们的导数梯度都趋近于0，很容易产生梯度消失现象。
ReLU函数：
f(x) = max(x,0)