激励函数的功能:解决不能用线性方程概括的问题
y=Wx, 神经网络
y=AF(Wx),,AF为激励函数,是一个非线性方程。激励函数必须是可以微分的。
当神经网络有很多层的时候,不能随意使用激活函数,因为很有可能造成梯度爆炸或者梯度消失
默认首选激励函数:
卷积神经网络中:relu
循环神经网络中:relu or tanh
激励(激活)函数(activation function)
import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
x=torch.linspace(-5, 5,200)#-5到5的200个数据
x=Variable(x)
x_np=x.data.numpy()#画图的时候要用numpy类型的数据
y_relu=F.relu(x).data.numpy()
y_sigmoid=F.sigmoid(x).data.numpy()
y_tanh=F.tanh(x).data.numpy()
y_softplus=F.softplus(x).data.numpy()
#画图,感觉类似于matlab里面作图
plt.figure(1,figsize=(8,6))
plt.subplot(221)
plt.plot(x_np,y_relu,c='red',label='relu')
plt.ylim(-1,5)
plt.legend(loc='best')
plt.subplot(222)
plt.plot(x_np,y_sigmoid,c='red',label='sigmod')
plt.ylim(-0.2,1.2)
plt.legend(loc='best')
plt.subplot(223)
plt.plot(x_np,y_tanh,c='red',label='tanh')
plt.ylim(-1.2,1.2)
plt.legend(loc='best')
plt.subplot(224)
plt.plot(x_np,y_softplus,c='red',label='softplus')
plt.ylim(-0.2,6)
plt.legend(loc='best')
结果图为: