反向传播笔记

1. 简单表达式和理解梯度

  函数变量在某个点周围的极小区域内变化，而导数就是变量变化导致的函数在该方向上的变化率。要注意的是，在这里已经指出了是在“极小区域”内，所以函数在以某一点的数值只能用来估计所对应的自变量发生微小变化时函数值的变化情况；当自变量的变化值很大时是无法用导数进行估计的。
  函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度。指的是自变量变化单位长度的时候，因变量变化的长度是自变量的多少倍。
  对加法操作求导：

$$\displaystyle f(x,y)=x+y \to \frac {df}{dx}=1\quad\frac {df}{dy}=1$$
这就是说，无论其值如何， $x,y$的导数均为1。这是有道理的，因为无论增加 $x,y$中任一个的值，函数f的值都会增加，并且增加的变化率独立于 $x,y$的具体值（情况和乘法操作不同）。
  取最大值操作也是常常使用的：

f(x,y)=max(x,y)→dfdx=1(x>=y)dfdy=1(y>=x)