pytorch学习（三）激活函数

什么是激活函数

激活函数（activity_function）存在的原因是我们日常解决的实际问题大部分不是线性可分的，而是非线性的，此时就需要激活函数来处理这一分类问题。y = Wx+b是线性分类问题，激活函数则通过y = AF(Wx+b)将线性问题转换为非线性问题。
常用的激活函数有relu函数、sigmoid函数、tanh函数等



当神经网络的层数较少是激活函数的选取影响不会很大，而当网络层数较多时，激活函数的选取会有较大的影响。

激活函数实现

# 申明该代码来自于莫烦python
import torch
import torch.nn.functional as F  # 导入激活函数模块
from torch.autograd import Variable 
import matplotlib.pyplot as plt  # 用于作图

# fake data
x = torch.linspace(-5, 5, 200)  # x data (tensor), shape=(100, 1)  取-5到5之间200个数
x = Variable(x)
x_np = x.data.numpy()   # numpy array for plotting

# following are popular activation functions，下列代码中的.data.numpy()是为了画图而转化为numpy的形式
y_relu = torch.relu(x).data.numpy()
y_sigmoid = torch.sigmoid(x).data.numpy()
y_tanh = torch.tanh(x).data.numpy()
y_softplus = F.softplus(x).data.numpy() # there's no softplus in torch
# y_softmax = torch.softmax(x, dim=0).data.numpy() softmax is a special kind of activation function, it is about probability

# plt to visualize these activation function
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

作图结果如下：