Sigmoid 函数的求导过程

Sigmoid 函数的公式如下:

σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+ex1

求导之前,先看一下 x x x 是如何一步一步变化到 σ ( x ) \sigma(x) σ(x)的:

σ : x → − x → e − x → 1 + e − x → ( 1 + e − x ) − 1 \sigma : x\rightarrow-x \rightarrow e^{-x} \rightarrow 1 + e^{-x} \rightarrow (1+e^{-x})^{-1} σ:xxex1+ex(1+ex)1

假设有如下四个函数:
f : x → − x f : x\rightarrow -x f:xx
g : f → e f g : f\rightarrow e^{f} g:fef
h : g → 1 + g h : g\rightarrow 1 + g h:g1+g
σ : h → h − 1 \sigma: h\rightarrow h^{-1} σ:hh1

那么有:
σ ( x ) = h ∘ g ∘ f ( x ) \sigma(x) = h \circ g \circ f(x) σ(x)=hgf(x)

根据链式求导法则:
∂ σ ∂ x = ∂ σ ∂ h ∂ h ∂ g ∂ g ∂ f ∂ f ∂ x \frac{\partial{\sigma}}{\partial{x}} = \frac{\partial{\sigma}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{f}}\frac{\partial{f}}{\partial{x}} xσ=hσghfgxf

其中
∂ σ ∂ h = − h − 2 \frac{\partial{\sigma}}{\partial{h}} = -h^{-2} hσ=h2
∂ h ∂ g = 1 \frac{\partial{h}}{\partial{g}} = 1 gh=1
∂ g ∂ f = e f \frac{\partial{g}}{\partial{f}} = e^{f} fg=ef
∂ f ∂ x = − 1 \frac{\partial{f}}{\partial{x}} = -1 xf=1

所以:
∂ σ ∂ x = − h − 2 ⋅ 1 ⋅ e f ⋅ ( − 1 ) \frac{\partial{\sigma}}{\partial{x}} =-h^{-2}\cdot1\cdot e^{f}\cdot(-1) xσ=h21ef(1)
其中:
h = 1 + e − x h = 1+e^{-x} h=1+ex
f = − x f=-x f=x

所以:
在这里插入图片描述
即:
∂ σ ∂ x = σ ( x ) ⋅ ( 1 − σ ( x ) ) \frac{\partial{\sigma}}{\partial{x}}=\sigma{(x)}\cdot(1-\sigma{(x)}) xσ=σ(x)(1σ(x))

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页