深度学习、sigmoid函数求导

学习神经网络的反向传播过程中，涉及到对sigmoid函数进行求导、出来混总要还的。。丢掉的高数还是得捡起来，记录一下sigmoid函数的推导过程吧。

前置准备

1. 求导的倒数法则：若有$g(x)=\frac{1}{f(x)}$，则$g^{\prime }(x)=-\frac{f^{\prime }(x)}{f(x{)}^2}$
2. $f(x)=e^x,f^{\prime }(x)=e^x$

证明1:

$g^{\prime }(x)=(\frac{1}{f(x)}{)}^{\prime }={\lim }_{\Delta x\to 0}\frac{\frac{1}{f(x+\Delta x)}-\frac{1}{f(x)}}{\Delta x}={\lim }_{\Delta x\to 0}\frac{f(x+\Delta x)-f(x)}{f(x+\Delta x)f(x)\Delta x}=({\lim }_{\Delta x\to 0}\frac{f(x+\Delta x)-f(x)}{\Delta x})({\lim }_{\Delta x\to 0}\frac{1}{f(x+\Delta x)f(x)})$

由于$x+\Delta x$ 在 点$x$处连续当$\Delta x\to 0$的时候、$f(x+\Delta x)=f(x)$，有：

$\frac{1}{f(x+\Delta x)}\frac{1}{f(x)}=\frac{1}{f(x{)}^2}$

即：

$g^{\prime }(x)=(\frac{1}{f(x)}{)}^{\prime }=({\lim }_{\Delta x\to 0}-\frac{f(x+\Delta x)-f(x)}{\Delta x})({\lim }_{\Delta x\to 0}\frac{1}{f(x+\Delta x)f(x)})=-\frac{f^{\prime }(x)}{f(x{)}^2}$

证明2:

OTL、太难了，推导比较复杂，直接贴大佬的推导过程了，讲的很好的。
参考文章：知乎：为什么e^x 的导数是还是其自身？

好了、开始推导sigmoid函数求导公式

根据公式：$S(x)=\frac{1}{1+e^{-x}}$有
$S^{\prime }(x)=(\frac{1}{1+e^{-x}}{)}^{\prime }=-\frac{(1+e^{-x}{)}^{\prime }}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}\frac{1+e^{-x}-1}{1+e^{-x}}=\frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}})=S(x)(1-S(x))$

至此推导完成