DNN、FCN、CNN、RNN、LSTM、BRNN、DRNN、GAN、自编码器、DBN、RBN、注意力网络、MCNN、Inception、dropout、残差网络

DNN、FCN、CNN、RNN、LSTM、BRNN、DRNN、GAN、DBN、RBN、自编码器、注意力网络、MCNN、Inception、dropout、残差网络

1 DNN

理解一：
DNN可以理解为有很多隐藏层的神经网络。这个很多其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，当然，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。我们讲到的神经网络都默认为DNN。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。结构图如下所示。

理解二：
从dnn、cnn关系角度(广义)
dnn是deep neural networks的意思，深度神经网路。cnn是convolutional neural networks,卷积神经网络。前者包含后者。前者是一个宽泛的概念，大概就是深度学习的意思，可以指RNN, CNN, DBN等等。后者CNN主要是做视觉图像的。即：dnn主要侧重deep，并没有正式的定义说基本组成就只能是全连接。

2 FCN

全卷积网络(full convolutional network,FCN)是从抽象的特征中恢复出每个像素所属的类别。即从图像级别的分类进一步延伸到像素级别的分类。FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图（feature map）进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后奇偶在上采样的特征图进行像素的分类。

FCN将传统CNN中的全连接层转化成一个个的卷积层。如下图所示，在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。FCN将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为（4096,7,7）、（4096,1,1）、（1000,1,1）。所有的层都是卷积层，故称为全卷积网络。

简单的说，FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层，输出一张已经label好的图。

原文链接：https://blog.csdn.net/qq_36269513/article/details/80420363

3 CNN

3.1 定义

CNN（Convolutional Nueral Network，卷积神经网络）是一个在输人和输出之间至少有一层(tf.nn.conv2d)由可学习的卷积核产生输出的神经网络。使用卷积核对输人层(张量)的每个点进行卷积。通过在输入张量上滑动(卷积)来生成一个卷积后的输出。卷积核又称滤波器、内核或者张量；卷积后输出的激活图又称特征图；对于每一层有几个卷积核卷积就有几个对应的激活图。CNN由卷积层、池化层（子采样层、降采样层）、全连接层组成，可以避免前期对图像的复杂预处理。

3.2 CNN发展历程表

4 RNN

4.1 背景

循环神经网络(Recurent Neural Network， RNN)，又称递归神经网络，源自1982 年John Hopfield提出的霍普菲尔德网络。霍普菲尔德网络因为实现困难，因而在其被提出时并没有被合适地应用。该网络的结构也于1986 年后被全连接神经网络以及一些传统的机器学习算法所取代。

传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网络的方法也存在参数太多、无法利用数据中的时间序列信息等问题。随着更加有效的循环神经网络结构被不断提出，循环神经网络的挖掘数据中时序信息和语义信息的深度表达能力被充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。

4.2 定义

循环神经网络是一种将节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为。在之前介绍的全连接神经网络或卷积神经网络模型中，网络结构都是从输入层到隐藏层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。RNN对序列中的每个元素重复同样的处理，输出依赖于前面的计算。RNN可以看作是储存了到目前为止已计算信息的存储器。隐藏层仅有循环体(一个循环体包括很多中间层)和全连接层。

4.3 RNN结构

在时刻t,状态St浓缩了前面序列x0,x1,x2, . xt-1的信息，用来作为输出Ot的参考。由于序列长度可以无限长，维度有限的s状态不可能将序列的全部信息都保存下来，因此模型必须学习只保留与后面任务Ot, Ot+1,…相关的最重要的信息，如上图所示。

注意：虽然RNN理论上支持无限长序列，但是实际训练过程中，如果序列过长， 一方面会导致训练时出现梯度消失和梯度爆炸的问题;另一方面，展开后的循环神经网络会古用过大的内存。所以， 实际中会规定一个最大长度， 当序列长度超过规定长度后会对序列进行截断。

在上图中，循环神经网络对长度为N的序列展开后，可以视为一个有N个中间层的前馈神经网络。这个前馈神经网络没有循环链接，因此可以直接使用反向传播算法(BP算法)进行训练，而不需要其他特别的优化算法。这样的训练方法称为“沿时间反向传播算法”( Back Pr