反向传播的意义 在深度网络中,包含的参数了过大(百万级),如果对这些参数强行用梯度法优化,效率会很低。 反向传播是为了提高梯度下降效率的一种方法。 链式求导法则 Forward Pass 任意参数对于其输出的微分为其输入,所以叫forward。 Backward Pass 这个东西是由后续的节点决定的(从后往前一层一层套娃) 所以算的时候要算最后面一层,也就是为什么叫反向传播。 反向体现 Forward Pass & Backward Pass 结合起来,梯度就有了。