关于激活函数以零为中心的问题

我发现有篇专栏描述得很详细：谈谈激活函数以零为中心的问题。

这篇专栏有个地方可能有待更详尽，如下：

既然都由于xi决定，而xi又是上一层sigmoid输出的值，都为正。那对于同一个权重wi，每次权重更新的时候， 是不是都得往正方向走咧？显然不是，因为损失函数的导数还有符号，这个符号决定了下一次所有权重更新方向。