深度学习日常发问（三）：激活函数性能对比

写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。

内容介绍

在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。
Q1：什么是激活函数？为什么需要激活函数？
Q2：激活函数有哪些？
Q3：这些激活函数之间图像有多大的差异？
Q4：那么怎么来检验各个激活函数之间的性能呢？

开始分享

Q4：那么怎么来检验各个激活函数之间的性能呢？
在此本文使用cifar-10的数据集来对神经网络进行训练，然后神经网络大体采用之前的文章，GPU与CPU当中搭建的小型VGG，这里需要说明的是对于一部分激活函数，Torch有自带的类可直接调用，但Mish、Swish和Maxout则需要自己编写，由于笔者还不太会Maxout的编写，就放一放，比较一起其他10个激活函数的性能，我们会从运行时间、训练集损失函数图像和测试集预测精度三个方面进行对比。代码的话，这里仅展示一个mish激活函数的封装版，至于替他的变化都很简单，会在文章末尾提供百度云盘下载链接的py文件进行。
下面是Mish的代码，首先需要加载数据和包，使用是CIFAR-10的数据，然后网络使用的是一个VGG6的近似网络，注意我们此处的网络都没有加BN层，

#加载包和数据
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
import time
import matplotlib.pyplot as plt
import torch.optim as optim
import torch
import torchvision
import torchvision.transforms as transforms

transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=0)

testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=0)

classes = ('pla