深度学习数学基础之链式法则

上次讲了导数和偏导数的基础，那么这些还不足以使用起来，今天就来讲讲误差反向传播中用来解决复杂函数求导的链式法则。

1 复合函数

已知函数y=f(u)，当u表示为u=g(x)时,y作为x的函数就可以表示为y=f(g(x))这样的嵌套结构，这种嵌套结构的函数，就称为f(u)、g(x)的复合函数。

2 链式法则

2.1 单变量函数链式法则

已知单变量函数y=f(u)，当uu表示为单变量函数u=g(x)时，复合函数f(g(x))的导函数可以如下简单地求出来。

上面这个公式称为单变量函数的复合函数求导公式，也称为链式法则。

公式的右边，如果将dx、dy、du都看作一个单独的字母，那么公式的左边可以看作将右边进行简单的约分的结果，这个看法总是成立的。通过将导数用dx、dy等表示，我们可以这样记忆链式法则：复合函数的导数可以像分数一样使用约分。，但是这个约分的法则不适用于dx、dy的平方等情形。

下面我们来试试对sigmoid与wx+b的复合函数进行求导吧