前提知识
log x 表示 x 的自然对数。也有人写成 ln x ,或者 log e x。exp (x) 表示 ex 。
我们需要先了解一下基本初等函数的导数公式:
公式一:常数的导数是零。
公式二:若 y = xn,y’=nxn-1。
公式三: (sin x)’ = cos x
公式四:(cos x)’ = -sin x
公式五: (ax)’ = ax log a
公式六: (ex)’ = ex
公式七: 若 y = loga x,则
dy 1
—— = ——————
dx x log a
公式八: 若 y = log x,则
dy 1
—— = ——
dx x
《深度学习》第44页下半部分性质证明
书中用σ(x) 表示 logistic sigmoid 函数:
1
σ(x) = ————————
1 + exp(-x)
书中用 ζ(x) 表示 softplus 函数:ζ(x) = log[ 1 + exp(x) ]
exp(x)
3.33 证明:σ(x) = ———————————
exp(x) + exp(0)
1
σ(x) = ———————
1 + exp(-x)
1
= ———————
1 + e-x
ex
= ————————
ex(1+e-x)
ex
= ————————
ex + e0
exp(x)
= ————————
exp(x) + exp(0)
d
3.34 证明: —— σ(x) = σ(x)[1 - σ(x)]
dx
3.35 证明:1-σ(x) = σ(-x)
1
1-σ(x) = 1 - ————————
1 + exp(-x)
1
= 1 - ———————
1 + e-x
1+ e-x - 1
= —————————
1 + e-x
e-x
= ———————
1 + e-x
exe-x
= ———————
ex(1 + e-x)
1
= —————
1+ex
1
= ——————
1+e-(-x)
1
= ———————— = σ(-x)
1 + exp[-(-x)]
3.36 证明: log σ(x) = - ζ(-x)
A
推论1: logA - logB= log(——)
B
令 A = em ,B=en 所以 logA - logB = m-n
A em
log(———) = log(————)
B en
= log(em-n) = m-n
A
所以 logA - logB= log(———)
B
1
log σ(x) = log(————)
1+e-x
= log 1 - log(1 + e-x) 根据推论1
= - log(1 + e-x)
= - log[ 1 + exp(-x) ]
= - ζ(-x)
d
3.37 证明:——ζ(x) = σ(x)
dx
x
3.38 证明: 所有 x ∈(0,1),σ-1(x) = log(————)
1-x
1
不妨设 y = σ(x) = ——————
1 + e-x
我们可以讨论一下y的值域。当x无穷大,-x无穷小,e-x 趋近于0,y 的上限是1 。当x无穷小,-x无穷大,e-x 无穷大,y的下限是0。那么对于σ-1(x)而言,自变量x属于(0,1)。
3.39 证明:对于任意 x > 0,ζ-1(x)=log[exp(x) - 1]
不妨设 y = ζ(x) = log[ 1 + exp(x) ] = log( 1 + ex )
显然 ex > 0 ;1 + ex > 1 ;
log( 1 + ex ) > 0 即y的值域大于0 。
可得:
y = log ( 1 + ex)
ey = 1 + ex
ex = ey - 1
x = log(ey - 1)
x 与 y 互换可得 ζ-1(x) = y = log[exp(x) - 1]
3.40 证明:
本文中的3.37已经证明了 ζ(x) 的导数是 σ(x) ,根据牛顿莱布尼茨公式,
因为 ζ(x) = log[1 + exp(x)] = log( 1 + ex ),当 x 无穷小,ex等于零, 1 + ex = 1,log( 1 + ex ) = 0
所以
3.41 证明 ζ(x) - ζ(-x) = x
关于 softplus 函数和正部函数
softplus 函数是正部函数的平滑版本。这个正部函数是 x+ = max(0,x)
这里是我画的正部函数的图,你把它和《深度学习》第44页图3.4比较一下,就知道为什么说 softplus 是正部函数的平滑版本了。