基于Pytorch的深度学习 —— 非线性激活函数

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_sigmoid = torch.sigmoid(x_tor).data.numpy() #sigmoid激活函数

plt.plot(x_np, y_sigmoid, c=‘blue’, label=‘sigmoid’) #坐标轴赋值及描述信息

plt.ylim((-0.2, 1.2)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

tanh

---

非线性函数tanh输出结果为-1到1之间；

表达式：

所以当tanh输出极值接近-1和1时，也面临梯度饱和的问题；但是其输出是以0为中心的，实际应用中会比Sigmoid更好；

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os