DNN

DNN的发展（06年提出） DNN→BP→CNN→RNN→DCN→GAN→GNN→GCN→CAP三维卷积胶囊模型及融合
名字	原理	特点	应用
BP（Backpropagation）	1通过迭代性的来处理训练集中的实例 2对比经过神经网络后输入层预测值(predicted value)与真实值(target value)之间 3反方向（从输出层=>隐藏层=>输入层）来以最小化误差(error)来更新每个连接的权重(weight)	他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了
CNN（convolutional Neutral Network）	一般包括卷积层，池化层和全连接层   卷积层：卷积神经网络里面的这个卷积和信号里面的卷积是有些差别的，信号中的卷积计算分为镜像相乘相加，卷积层中的卷积没有镜像这一操作，直接是相乘和相加 池化层（pooling）：主要是降低维度，通过对卷积后的结果进行降采样来降低维度，分为最大池化和平均池化两类。 全连接层：把卷积层和池化层的输出展开成一维形式，在后面接上与普通网络结构相同的回归网络或者分类网络，一般接在池化层后面
RNN（Recurrent Neural Networks）	RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能.	RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。	① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理 ②机器翻译, 机器写小说 ③语音识别 ④图像描述生成 ⑤文本相似度计算 ⑥音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域.
DCN （Deep&Cross Network）	一个DCN模型从嵌入和堆积层开始，接着是一个交叉网络和一个与之平行的深度网络，之后是最后的组合层，它结合了两个网络的输出。	1 DCN能够有效地捕获有限度的有效特征的相互作用，学会高度非线性的相互作用，不需要人工特征工程或遍历搜索，并具有较低的计算成本。 2实验结果表明，交叉网络（DCN）在LogLoss上与DNN相比少了近一个量级的参数量
GAN（Generative Adversarial Networks）	GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是**通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布**，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。	1相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式  2 GAN中G的梯度更新信息来自判别器D，而不是来自数据样本
GNN（Graph Neural Network）	将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题
GCN （Graph Recurrent Networks）	图卷积神经网络主要要完成的就是这件事，给定一个图网络，把节点（node）（又称顶点(vertex)）与 边（edge）输入进一个函数，希望得到一个各个节点的feature信息，利用这个feature去实现各种任务（比如分类）。
CAP（CapsuleNet）		胶囊网络是CNN的升级版，它们有很多相似的地方和根本的不同点。 CNN：每个神经元的输出是标量 CapsuleNet：每个神经元的输出是向量，也就是多个标量的结合   类比一下CNN和CapsNet： CNN的过程是(convolution)加权求和，激活函数(relu)，获取更重要的信息(maxpooling)。 CapsNet是加权求和(向量的加权和)，激活函数(squashing)，获取更重要的信息(dynamic routing)