ReLU函数
ReLU(rectified linear unit)函数提供了一个很简单的非线性变换。给定元素x,该函数定义为
R e L U ( x ) = m a x ( x , 0 ) . ReLU(x) = max(x, 0). ReLU(x)=max(x,0).
可以看出,ReLU函数只保留正数元素,并将负数元素清零。
sigmoid函数
sigmoid函数可以将元素的值变换到0和1之间:
s
i
g
m
o
i
d
(
x
)
=
1
1
+
e
x
p
(
−
x
)
sigmoid(x) =\frac{1}{1 + exp(−x) }
sigmoid(x)=1+exp(−x)1
依据链式法则,sigmoid函数的导数为
s
i
g
m
o
i
d
′
(
x
)
=
s
i
g
m
o
i
d
(
x
)
(
1
−
s
i
g
m
o
i
d
(
x
)
)
sigmoid ^′ (x) = sigmoid(x) (1 − sigmoid(x))
sigmoid′(x)=sigmoid(x)(1−sigmoid(x))
tanh函数
tanh(双曲正切)函数可以将元素的值变换到-1和1之间:
t
a
n
h
(
x
)
=
1
−
e
x
p
(
−
2
x
)
1
+
e
x
p
(
−
2
x
)
tanh(x) = \frac{1 − exp(−2x)}{1 + exp(−2x)}
tanh(x)=1+exp(−2x)1−exp(−2x)
当输入接近0时, tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像,但tanh函数在坐标系的原点上对称。
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
