损失与梯度与回传

损失函数

开始的时候的，我觉得梯度最重要，但是都在强调损失函数。

• 损失意估量预测与真实之间的差距
• 梯度是缩小预测与真实之间的方向

刚开始学习，损失函数的确比较死板，反倒是梯度给予我们更大的进步的感觉，因为计算是沿着梯度的进行的。

不过，为什么损失函数会比梯度更受追捧呢？

因为损失是灵活的，真正死板的，反而是梯度。

梯度下降

对于函数：$G(H(F(x)))$
{ ∂ G ∂ H = g ( x ) ∂ H ∂ F = h ( x ) ∂ F ∂ x = f ( x ) ⇒ ∂ G ∂ x = ∂ G ∂ H ⋅ ∂ H ∂ F ⋅ ∂ F ∂ x = g ( x ) ⋅ h ( x ) ⋅ f ( x ) \left\{ \begin{aligned} \frac{\partial G}{\partial H} =& g(x) \\ \frac{\partial H}{\partial F} =& h(x) \\ \frac{\partial F}{\partial x} =& f(x) \end{aligned} \right. \Rightarrow \frac{\partial G}{\partial x} = \frac{\partial G}{\partial H} \cdot \frac{\partial H}{\partial F} \cdot \frac{\partial F}{\partial x} = g(x)\cdot h(x) \cdot f(x) ⎩⎪⎪⎪⎪⎪⎨⎪