[深度学习] 反向传播推导

反向传播推导

反向传播是一种利用链式求导法则求梯度的方法，理解这个过程对于学习深度学习是十分重要的。之前一直只是理解基本的概念，下面详细说明具体的理论并具体推导。

基本求导

$$f(x, y) = xy \quad \frac{\partial f}{\partial x } = y \quad \frac{\partial f}{\partial y}=x$$
$$f(x, y) = max(x, y) \quad \frac{\partial f}{\partial x} = 1(x\ge y) \quad \frac{\partial f}{\partial y} = 1(y \ge x) \quad \frac{\partial f} {\partial x} = 0(x\le y) \quad \frac{\partial f}{\partial y} = 0(y \le x)$$

---

$$x = -2 \quad y = 5 \quad z = -4 \quad q = x + y = 3 \quad f = q * z = -12$$