深度学习模型总结

1.深度学习模型分类概述

1.1感知器

1.2DNN

1.3CNN

1.4RNN

1.5Seq2Seq

2深度学习技术

深度学习是机器学习的分支，是试图使用包含复杂结构或由多重非线性变换构成的多处理层计算模型对数据进行高层抽象的一类算法。深度学习技术已被广泛应用到图像处理、语音处理、自然语言处理等多个领域，取得了重大突破[26]。

2.1神经网络语言模型

语言模型（LanguageModel，LM）把语料库当作一个随机变量，对给定前面的词语预测下一个词语的任务建模来计算句子概率。神经网络语言模型（NeuralNetworkLanguageModel，NNLM）最早由Bengio等人[27]提出，其核心思路是用一个K维的向量来表示词语，被称为词向量（WordEmbedding），使得语义相似的词在向量空间中处于相近的位置，并基于神经网络模型将输入的上下文词向量序列转换成成固定长度的上下文隐藏向量，使得语言模型不必存储所有不同词语的排列组合信息，从而改进传统语言模型受词典规模限制的不足。

2.2自编码器

自编码器（Autoencoder,AE）是一种无监督的学习模型，由Rumelhart等人[28]最早提出。自编码器由编码器和解码器两部分组成，先用编码器对输入数据进行压缩，将高维数据映射到低维空间，再用解码器解压缩，对输入数据进行还原，从而来实现输入到输出的复现。如图2所示，自编码器的训练目标是，使得输出X尽可能地还原输入X。其中，编码器和解码器基于神经网络构建。
为了改进基本模型中容易陷入局部最优的情 况，深度自编码器模型被提出[29, 30]。其中，变分自 编码器和条件变分自编码器被用到开放领域的对 话系统中，对回复生成的多样性进行控制，示意图 如图 3。变分自编码器[31]（Variational Auto-Encoder， VAE）是一种生成模型，它引入统计思想在基础的 自编码器模型基础上加入正则约束项，使得隐层 z 满足某个分布，并从 z 中自动生成数据。条件变分 自编码器[31]（Conditional Variational Auto-Encoders， CVAE）是在变分自编码器之上再加一些额外信息 为条件的一类模型。其模型训练和测试时候均以该 额外信息 c 为条件。