BP（Back Propagation）神经网络

一、导数

1、导数的公式及几何意义
（1）

（2）几何意义为当函数定义域和取值都在实数域中的时候，导数还可以表示函数曲线上的切线斜率。同时还表示在该点的变化率。

（3）在一元函数中只有一个自变量的变动，表示只存在一个方向的变化率，此时一元函数没有偏导数

2、偏导数
（1）若为偏导数则必须涉及两个或者以上的向量，此文以两个自变量为例，z = f(x,y)，此时则不再曲线，而表示的是曲面。曲线中我们的切线则只有一条，但是在曲面中某一点则有无数条切线。
（2）偏导数表示多元函数沿着坐标轴的变化率

• $f_x=(x,y)$表示函数在y的方向不变，函数值沿着x轴方向的变化率
• $f_y=(x,y)$表示函数在x的方向不变，函数值沿着y轴方向的变化率

（3）偏导数对应的几何意义：

• 偏导数$f_x(x_0,y_0)$表示的是曲平面被平面y=$y_0$所截得得曲面在点$M_0$处的切线$M_0{T}_x$对x轴的斜率
• 偏导数$f_y(x_0,y$