激活函数设计vhdl_激活函数（relu，prelu，elu，+BN）对比on cifar10

激活函数(relu，prelu，elu，+BN)对比on cifar10

可参考上一篇：

一．理论基础

1.1激活函数

1.2 elu论文(FAST AND ACCURATE DEEP NETWORK LEARNING BY

EXPONENTIAL LINEAR UNITS (ELUS))

1.2.1 摘要

论文中提到，elu函数可以加速训练并且可以提高分类的准确率。它有以下特征：

1)elu由于其正值特性，可以像relu,lrelu,prelu一样缓解梯度消失的问题。

2)相比relu，elu存在负值，可以将激活单元的输出均值往0推近，达到

batchnormlization的效果且减少了计算量。(输出均值接近0可以减少偏移效应进而使梯

度接近于自然梯度。)

3)Lrelu和prelu虽然有负值存在，但是不能确保是一个噪声稳定的去激活状态。

4)Elu在负值时是一个指数函数，对于输入特征只定性不定量。

1.2.2.bias shift correction speeds up learning

为了减少不必要的偏移移位效应，做出如下改变：(i)输入单元的激活可以

以零为中心，或(ii)可以使用具有负值的激活函数。 我们介绍一个新的

激活函数具有负值，同时保持正参数的特性，即elus。

1.2.4实验

作者把elu函数用于无监督学习中的autoencoder和有监督学习中的卷积神经网络；

elu与relu，lrelu，SReLU做对比实验；数据集选择mnist，cifar10，cifar100.

2ALL-CNN for cifar-10

2.1结构设计

ALL-CNN结构来自论文(STRIVING FOR SIMPLICITY:

THE ALL CONVOLUTIONAL NET)主要工作是把pool层用stride=2的卷积来代替，提出了一些全卷积网络架构，kernel=3时效果最好，最合适之类的，比较好懂，同时效果也不错，比原始的cnn效果好又没有用到一些比较大的网络结构如resnet等。

附上：

Lrelu实现：

def lrelu(x, leak=0.2, name="lrelu"):

return tf.maximum(x, leak * x)

Prelu实现：

def parametric_relu(_x):

alphas = tf.get_variable('alpha', _x.get_shape()[-1],

in