[学习日志]深度学习-李宏毅 反向传播

反向传播的意义

在深度网络中，包含的参数了过大（百万级），如果对这些参数强行用梯度法优化，效率会很低。
反向传播是为了提高梯度下降效率的一种方法。

链式求导法则

Forward Pass

任意参数对于其输出的微分为其输入，所以叫forward。

Backward Pass

这个东西是由后续的节点决定的（从后往前一层一层套娃）
所以算的时候要算最后面一层，也就是为什么叫反向传播。

反向体现

Forward Pass & Backward Pass

结合起来，梯度就有了。