我发现有篇专栏描述得很详细:谈谈激活函数以零为中心的问题。
这篇专栏有个地方可能有待更详尽,如下:
既然都由于xi决定,而xi又是上一层sigmoid输出的值,都为正。那对于同一个权重wi,每次权重更新的时候, 是不是都得往正方向走咧?显然不是,因为损失函数的导数还有符号,这个符号决定了下一次所有权重更新方向。
我发现有篇专栏描述得很详细:谈谈激活函数以零为中心的问题。
这篇专栏有个地方可能有待更详尽,如下:
既然都由于xi决定,而xi又是上一层sigmoid输出的值,都为正。那对于同一个权重wi,每次权重更新的时候, 是不是都得往正方向走咧?显然不是,因为损失函数的导数还有符号,这个符号决定了下一次所有权重更新方向。