一些常见函数的有用性质
概述
本文档介绍在处理概率分布时常出现的函数及其性质。
logistic sigmoid
σ
(
x
)
=
1
1
+
e
x
p
(
−
x
)
\sigma(x)=\frac{1}{1+exp(-x)}
σ(x)=1+exp(−x)1
logistic sigmoid 函数常用来产生Bernoulli分布的参数
ϕ
\phi
ϕ,因为它的范围是
(
0
,
1
)
(0,1)
(0,1),处在
ϕ
\phi
ϕ的有效取值范围内。sigmoid函数如下图:
从上图可以看出,sigmoid函数在变量取绝对值非常大的正数或负数时会出现饱和(saturate)现象,这意味着这个函数变得非常平且对输入的微小改变不明显。
softplus函数
ζ
(
x
)
=
l
o
g
(
1
+
e
x
p
(
x
)
)
\zeta(x)=log(1+exp(x))
ζ(x)=log(1+exp(x))softplus 函数可以用来产生正态分布的
β
\beta
β 和
σ
\sigma
σ 参数,因为它的范围是
(
0
,
∞
)
(0,\infin)
(0,∞),也经常出现在处理包含sigmoid函数的表达式中。softplus函数是
x
+
=
m
a
x
(
0
,
x
)
x^+=max(0,x)
x+=max(0,x) 的平滑形式。下图为softplus函数图形:
下面是一些重要的性质:
σ
(
x
)
=
e
x
p
(
x
)
e
x
p
(
x
)
+
e
x
p
(
0
)
①
\sigma(x)=\frac{exp(x)}{exp(x)+exp(0)}\qquad①
σ(x)=exp(x)+exp(0)exp(x)①
d
d
x
σ
(
x
)
=
σ
(
x
)
(
1
−
σ
(
x
)
)
②
\frac{d}{dx}\sigma(x)=\sigma(x)(1-\sigma(x))\qquad②
dxdσ(x)=σ(x)(1−σ(x))②
1
−
σ
(
x
)
=
σ
(
−
x
)
③
1-\sigma(x)=\sigma(-x)\qquad\qquad\quad③
1−σ(x)=σ(−x)③
l
o
g
σ
(
x
)
=
−
ζ
(
−
x
)
④
log\thickspace \sigma(x)=-\zeta(-x)\qquad\qquad\quad④
logσ(x)=−ζ(−x)④
d
d
x
ζ
(
x
)
=
σ
(
x
)
⑤
\frac{d}{dx}\zeta(x)=\sigma(x)\qquad\qquad\qquad⑤
dxdζ(x)=σ(x)⑤
∀
x
∈
(
0
,
1
)
,
σ
−
1
=
l
o
g
(
x
1
−
x
)
⑥
\forall x\in(0,1),\sigma^{-1}=log(\frac{x}{1-x})\qquad⑥
∀x∈(0,1),σ−1=log(1−xx)⑥
∀
x
>
0
,
ζ
−
1
=
l
o
g
(
e
x
p
(
x
)
−
1
)
⑦
\forall x>0,\zeta^{-1}=log(exp(x)-1)\qquad⑦
∀x>0,ζ−1=log(exp(x)−1)⑦
ζ
(
x
)
=
∫
−
∞
x
σ
(
y
)
d
y
⑧
\zeta(x)=\int^x_{-\infin}\sigma(y)dy\qquad⑧
ζ(x)=∫−∞xσ(y)dy⑧
ζ
(
x
)
−
ζ
(
−
x
)
=
x
⑨
\zeta(x)-\zeta(-x)=x\qquad⑨
ζ(x)−ζ(−x)=x⑨函数
σ
−
1
(
x
)
\sigma^{-1}(x)
σ−1(x)在统计学中被称为分对数(logit)。
ζ
(
x
)
\zeta(x)
ζ(x)为正部函数
x
+
=
m
a
x
(
0
,
x
)
x^+=max(0,x)
x+=max(0,x) 的平滑版本,
ζ
(
−
x
)
\zeta(-x)
ζ(−x)为负部函数
x
−
=
m
a
x
(
0
,
−
x
)
x^-=max(0,-x)
x−=max(0,−x) 的平滑版本。
维护相关
- 待补充。。。。
引用于 - https://blog.csdn.net/joymakleson/article/details/107532547