Sigmoid、Tanh、ReLu 这三个激活函数有什么缺点或不足，有没改进的激 活函数？

Sigmoid、Tanh、ReLu 这三个激活函数有什么缺点或不足，有没改进的激
活函数？
答：
sigmoid 缺点：若激活值很大的时候或者很小，激活函数在其区域梯度很小使
得训练速度很慢。
Tanh 缺点：同上。
Tanh 优点：数据类似于集中于零左右。
ReLU 缺点：在零的时候不可导，若激活值小于零，梯度为零，使得训练速度
很慢，不过这种情况很少发生，有足够多的神经元使得其 z 值大于零。
改进：采用含虚弱的 ReLU 激活函数，即若小于零时，也让其有点梯度。比如
小于零时，激活函数为：0.01Z
激活函数总结