【论文收集】几种经典神经网络及其模型

1、前馈神经网络（Feed Forward Neural Network，FFNN）

多层感知器（Multilayer Perceptron，MLP）

感知器（又叫感知机）是最简单的前馈网络，它主要用于模式分类，也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。

反向传播神经网络（Back Propagation Neural Network，BP神经网络）

BP网络是指连接权调整采用了反向传播（Back Propagation）学习算法的前馈网络。与感知器不同之处在于，BP网络的神经元变换函数采用了S形函数（Sigmoid函数），因此输出量是0~1之间的连续量，可实现从输入到输出的任意的非线性映射。

径向基函数网络（Radial Basis Function Network，RBF网络）

RBF网络是指隐含层神经元由RBF神经元组成的前馈网络。RBF神经元是指神经元的变换函数为RBF（Radial Basis Function，径向基函数）的神经元。典型的RBF网络由三层组成：一个输入层，一个或多个由RBF神经元组成的RBF层（隐含层），一个由线性神经元组成的输出层。

极限学习机（Extreme Learning Machine, ELM）

• 提出时间：2004

2、卷积神经网络（Convolutional Neural Networks, CNN）

LeNet-5

• 提出时间：1998
• 论文：《LeNet-5, convolutional neural networks》
• 论文地址：http://yann.lecun.com/exdb/lenet/

AlexNet

• 提出时间：2012/9
• Top-1 准确率：62.5%
• 论文：《ImageNet Classification with Deep Convolutional Neural Networks》
• 论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

ZFNet

• 提出时间：2013/11
• Top-1 准确率：64%
• 论文地址：https://arxiv.org/pdf/1311.2901v3.pdf

VGGNet

• 提出时间：2014/9
• Top-1 准确率：74%
• 论文：《Very Deep Convolutional Networks for Large-Scale Visual
  Recognition》
• 论文地址：https://www.robots.ox.ac.uk/~vgg/research/very_deep/

GoogleNet Inception

• Inception v1
  • 提出时间：2014/9
  • Top-1 准确率：69.8%
  • 论文：《Going deeper with convolutions》
  • 论文地址：https://arxiv.org/pdf/1409.4842.pdf
• Inception v2
  • 论文：《Batch Normalization》
  • 论文地址：https://arxiv.org/pdf/1502.03167.pdf
• Inception v3
  • 提出时间：2015/12
  • Top-1 准确率：78.8%
  • 论文：《Rethinking the Inception Architecture for Computer Vision》
  • 论文地址：https://arxiv.org/pdf/1512.00567.pdf
• Inception v4
  • 论文：《Inception-v4, Inception-ResNet》
  • 论文地址：https://arxiv.org/pdf/1602.07261.pdf

ResNet

• 提出时间：2015/12
• Top-1 准确率：78.6%
• 论文：《Deep Residual Learning for Image Recognition》
• 论文地址：https://arxiv.org/pdf/1512.03385.pdf

DenseNet

• 提出时间：2016/8
• Top-1 准确率：79.2%
• 论文：《Densely Connected Convolutional Networks》
• 论文地址：https://arxiv.org/pdf/1608.06993.pdf
• GitHub：https://github.com/liuzhuang13/DenseNet

SENet

• 论文：《Squeeze-and-Excitation Networks》
• 论文地址：https://arxiv.org/pdf/1709.01507.pdf

3、循环神经网络（Recurrent Neural Network, RNN）

我们通常所说的RNN实际上有两种：

• 一种是Recurrent Neural Networks，即循环神经网络，
• 一种是Recursive Neural Networks，即递归神经网络。

循环神经网络是首先被提出的，它是一种时间上进行线性递归的神经网络，也就是我们通常所说的RNN。

递归神经网络（recursive neural network）被视为循环神经网络（recurrent neural network）的推广，这是一种在结构上进行递归的神经网络，常用于自然语言处理中的序列学习，它的输入数据本质不一定是时序的，但结构却往往更加复杂，我们这里只说循环神经网络。

双向RNN（Bidirectional recurrent neural networks）

• 提出时间：1997

深度双向RNN（Deep Bidirectional recurrent neural networks）

长短期记忆网络（Long Short-Term Memory networks, LSTM）

• 提出时间：1997
• 论文：《Long Short-Term Memory》
• 论文地址：https://direct.mit.edu/neco/article-pdf/9/8/1735/813796/neco.1997.9.8.1735.pdf

门控循环单元网络（Gated Recurrent Unit networks, GRU）

• 提出时间：2014
• 论文：《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》
• 论文地址：https://arxiv.org/pdf/1406.1078.pdf

4、深度信念网络（Deep Belief Networks，DBN）

• 提出时间：2006
• 论文1：《A fast learning algorithm for deep belief nets》
• 论文地址：http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
• 论文2：《http://www.cs.toronto.edu/~hinton/science.pdf》
• 论文地址：http://www.cs.toronto.edu/~hinton/science.pdf

5、生成对抗网络（Generative Adversarial Networks，GAN）

• 提出时间：2014
• 论文：《Generative Adversarial Nets》
• 论文地址：https://arxiv.org/pdf/1406.2661v1.pdf

6、脉冲神经网络（Spiking Neural Network，SNN）

• 提出时间：1997
• 论文：《Networks of Spiking Neurons: The Third Generation of Neural Network Models》

霍普菲尔德神经网络（Hopfield Neural Network，HNN）

玻尔兹曼机（Boltzmann Machine，BM）

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）

自动编码器（Auto Encoder，AE）

稀疏自编码器（Sparse Auto Encoder，SAE）

变分自编码器（Variational Auto Encoder，VAE）

去噪自编码器（Denosing Auto Encoder，DAE）

神经图灵机（Neural Turing Machine，NTM）

• 提出时间：2014
• 论文：《Neural Turing Machine》
• 论文地址：https://arxiv.org/pdf/1410.5401.pdf

回声状态网络（Echo State Network，ESN）

• 提出时间：2001