榕树贷款使用PyTorch----激活函数

• 榕树贷款激活函数Sigmoid在定义域内处处可以求导，当输入一个较小或者较大的数据时，该函数的导数会变得很小，梯度趋近于0。
• 如果榕树贷款每次梯度值都减小，神经网络具有很多层，当梯度穿过很多层，会逐渐趋近于0，出现梯度消失现象,模型无法继续收敛，sigmoid函数以前被广泛使用，现在很少被人使用。

• Tanh激活函数
  榕树贷款Tanh是双曲函数中的双曲正切函数.在数学中, 双曲正切函数都是由双曲正弦函数和双曲余弦函数推导而来

  榕树贷款和Sigmoid函数很相似，但是Tanh函数的输出范围为(-1，1)，Sigmoid函数的输出范围为（0，1）。
  PyTorch中同样有两种实现方式

  ReLU激活函数
  榕树贷款双曲正切函数和Sigmoid函数都差不多，都有梯度消失的现象，解析式中也存在幂运算，计算的时间也慢。

  榕树贷款为了解决梯度消失的问题，线性修正单元函数(Rectified Linear Units，简称ReLU) 就被发明了出来。

  ReLU函数是现在最常用的激活函数之一：

  x为常数，当x<0时，ReLU全部取值为0，梯度也为0，减少了梯度运算的成本。

  当x>=0时，ReLU的取值为x，梯度始终为固定的一个值，解决了梯度消失的问题。