激活函数（持续更新）

激活函数的几点性质：

1、连续可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。

2、激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。

3、激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。