【Tensorflow2.x学习笔记】- 反向传播算法

1.导数与梯度

导数定义：自变量x产生一个微小扰动△x后，函数输出值的增量△y与自变量增量△x的比值在△x趋于0时的极限a，如果存在，a即为在x处的导数：

函数的导数记为：

从几何角度看，一元函数在某处的导数就是函数的切线在此处的斜率，即函数值沿着x方向的变化率 。

导数本身是标量，没有方向。但是导数表征了函数值在某个方向△x上的变化率。在这些任意△x方向中，沿着坐标轴的几个方向比较特殊，此时的导数也叫做偏导数（偏导数是导数的特例，也没有方向）

利用梯度下降法优化网络时，需要求出网络的所有偏导数。把函数的所有偏导数写成向量形式：

 这篇链接加深理解：CSDN反向传播算法​​​​​​​

此时梯度下降算法可以沿着向量形式进行更新：

<