(1)sigmoid函数
sigmoid函数曲线平滑,可以很好的使用,但是如果数据长时间不更新,会出现失去梯度的状况,也叫梯度弥散。
求sigmoid函数的梯度
当然,我们可以使用pytorch实现sigmoid函数。代码如下。
import torch
a=torch.linspace(-100,100,10)
torch.sigmoid(a)
'''得到结果为
tensor([0.0000e+00, 1.6655e-34, 7.4564e-25, 3.3382e-15, 1.4945e-05, 9.9999e-01,
1.0000e+00, 1.0000e+00, 1.0000e+00, 1.0000e+00])
'''
(2)Tanh函数
可以将Tanh函数视为sigmoid函数的一种线性变化,所以同样存