Pytorch学习笔记系列 - 激活函数

1 什么是激活函数（activation functions）？

在神经网络中经常会提及激活函数的概念，那么什么是激活函数？为什么要使用激活函数？

激活函数是为了解决实际生活中不能使用线性方程概括的问题。

那么什么是线性方程呢？举个例子来说，一道菜越好吃，那么吃的人越多，这就是一个线性问题（Linear）。

现在将例子所处的环境改成在校园中，菜越好吃，吃的人数也不能无穷增长下去，那么此时线性问题就转化为非线性问题（NonLinear），也就是函数图像将不再是一条直线，而是转化为一条曲线。

那么由线性问题转换为非线性问题就需要一种力量使其“变弯”，这种力量正是激活函数，激活函数是一类非线性函数的概括，通过激活函数处理线性函数 即可转换为非线性函数，例如relu、tanh、sigmoid，使用激活函数强行“变弯”线性函数，也就是对线性函数的结果使用激活函数处理，使得输出值也具有了非线性的特征。

但并不是所有的非线性函数都可以作为激活函数，激活函数一定是可微分的，因为在误差反向传播时需要建立误差与权重的函数，而求解函数时需要计算梯度，因此要求激活函数一定是可微分的。

2 几种常见的激活函数

下面将绘制 torch.nn.functional 库中的几种激活函数。

绘制程序如下：

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

# 数据点
x = torch.linspace(-5, 5, 200)  
x = Variable(x)
x_np = x.data.numpy()   

#为了绘制图像，将Variable数据转换为numpy数据
y_relu = F.relu(x).data.numpy()
y_sigmoid = F.sigmoid(x).data.numpy()
y_tanh = F.tanh(x).data.numpy()
y_softplus = F.softplus(x).data.numpy() # there's no softplus in torch

# 绘图
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='b', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='b', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np, y_tanh, c='b', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np, y_softplus, c='b', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()