激活函数以零为中心的影响

神经网络激活函数输出不以0为中心会导致收敛过慢，为什么？

关于激活函数，上一篇文章已经有说明，链接https://mp.csdn.net/postedit/83511901

如果上一级神经元采用 Sigmoid 函数作为激活函数，x0和下一层的x1符号均为相同的。此时，模型为了收敛，不得不向逆风前行的风助力帆船一样，走 Z 字形逼近最优解。

                                       

模型参数走绿色箭头能够最快收敛，但由于输入值的符号总是为正，所以模型参数可能走类似红色折线的箭头。如此一来，使用 Sigmoid 函数作为激活函数的神经网络，收敛速度就会慢上不少了。

 

reference https://liam.page/2018/04/17/zero-centered-active-function/