Sigmoid函数求导

Sigmoid函数求导

标签(空格分隔): ML

  sigmoid函数是神经网络中常用的激活函数之一,其定义为
σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+ex1
该函数的定义域为 ( − ∞ , + ∞ ) (-\infty,+\infty) (,+),值域为 ( 0 , 1 ) (0,1) (0,1)
sigmoid函数

  sigmoid函数的导函数具有以下形式
σ ′ ( x ) = σ ( x ) [ 1 − σ ( x ) ] \sigma'(x) = \sigma(x)[1-\sigma(x)] σ(x)=σ(x)[1σ(x)]
  求导过程如下:
d σ ( x ) d ( x ) = d ( ( 1 + e − x ) − 1 ) d ( x ) = e − x ( 1 + e − x ) 2 = σ 2 ( x ) × 1 − σ ( x ) σ ( x ) = σ ( x ) [ 1 − σ ( x ) ] \frac{\mathrm{d}\sigma(x)}{\mathrm{d}(x)} = \frac{\mathrm{d}((1+e^{-x})^{-1})}{\mathrm{d}(x)} = \frac{e^{-x}}{(1+e^{-x})^2} = \sigma^2(x)\times\frac{1-\sigma(x)}{\sigma(x)} = \sigma(x)[1-\sigma(x)] d(x)dσ(x)=d(x)d((1+ex)1)=(1+ex)2ex=σ2(x)×σ(x)1σ(x)=σ(x)[1σ(x)]
  函数 l n σ ( x ) ln\sigma(x) lnσ(x) l n ( 1 − σ ( x ) ) ln(1-\sigma(x)) ln(1σ(x))的导函数分别为:
[ ln ⁡ σ ( x ) ] ′ = 1 − σ ( x ) , [ ln ⁡ ( 1 − σ ( x ) ) ] ′ = − σ ( x ) [\ln\sigma(x)]' = 1 - \sigma(x),[\ln(1-\sigma(x))]' = -\sigma(x) [lnσ(x)]=1σ(x),[ln(1σ(x))]=σ(x)
  求导过程如下:
d ln ⁡ σ ( x ) d ( x ) = ( ln ⁡ 1 ) ′ − ( ln ⁡ ( 1 + e − x ) ) ′ = 0 − 1 1 + e − x × ( e − x ) ′ = e − x 1 + e − x = 1 − σ ( x ) \frac{\mathrm{d}\ln\sigma(x)}{\mathrm{d}(x)} = (\ln 1)' - (\ln(1 + e^{-x}))' = 0 - \frac{1}{1 + e^{-x}} \times (e^{-x})' = \frac{e^{-x}}{1+e^{-x}} = 1 - \sigma(x) d(x)dlnσ(x)=(ln1)(ln(1+ex))=01+ex1×(ex)=1+exex=1σ(x)
d ln ⁡ ( 1 − σ ( x ) ) d ( x ) = ( ln ⁡ − e − x ) ′ − ( ln ⁡ ( 1 + e − x ) ) ′ = − 1 + e − x 1 + e − x = − σ ( x ) \frac{\mathrm{d}\ln(1-\sigma(x))}{\mathrm{d}(x)} = (\ln-e^{-x})' - (\ln(1+e^{-x}))' = -1 + \frac{e^{-x}}{1+e^{-x}} = -\sigma(x) d(x)dln(1σ(x))=(lnex)(ln(1+ex))=1+1+exex=σ(x)

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页