3D机器学习（5）：6种激活函数、基于均方差的梯度下降法

1.6种激活函数

• torch.sigmoi=F.sigmoid
  
  
• torch.tannh=F.tanh，仅仅是是sigmoid函数的拉伸与平移
  
  
• torch.relu=F.relu，不会出现梯度爆炸或梯度弥散，而且梯度更简洁。
  
  
• leaky relu是relu的变体，解决了在负值情况下梯度为0的问题，因为其在（-无穷，0）加入了一个很小的斜率，比如斜率为0.02。
  
• softplus在relu函数0点处做了平滑处理，使得relu函数处处可导。