激活函数的作用是什么？

大部分激活函数相当于起到类似于简单开关的作用，比如sigmoid relu，和阶跃函数都有点儿关系，当然了，也有的看上去不怎么像开关。

 

所以总体来说还是引入各种非线性，增加模型的表达能力，可以做到线性模型做不到的事。

 

请参考聊一聊深度学习的activation function

 

为啥输出不是zero-centered的时候，会发生下面的情况？

在求梯度的时候，如果x都是正数（有很多任务的输入特征是这样的），再比如激活函数的输入也是经过了sigmoid的输出，那也都是正数，那么在这个函数这对参数的各个维度（wi）求导，导数会都是正的。会导致每一维特征对应weight都朝着一个方向改变，都增加或者都减少（链式的，可能传过来一个正的或者负的导数），就只能往第一象限或者第三象限走。

上面举的两个例子，直观上是不太可能出现的，因为很多时候需要平衡几个特征的重要性，应该是有的权重上升，有的下降，比如二维的时候，第一个权重多点，第二个权重少点，这么个调整方式才会比较正常。比如那条蓝色的线，横轴权重是正的，纵轴是负的，假如从原点开始，应该是第一个权重不断上升，第二个不断下降，最后到达最优点。

而不是所有特征对应的weight都冲着一个方向，都减少或者增加，所以综合算下来，很可能会出现有的梯度实际退化成了0，更新的时候只有一个在实际的更新。在那个图里，相当于限制了每次只能沿着某个坐标轴走，走出来了zigzag形状，也能走到目标点，就是慢。