生成模型和判别模型的区别

基本的深层网络模型可以分为两大类：生成模型和判别模型。

生成是指从隐含层到输入数据的重构过程，而判别是指从输入数据到隐含层的隐约过程。复杂的深层结构可能是一个混合模型，既包含生成模型成份，又包含判别模型成份（成分与成份没有区别）。

生成模型主要包括受限玻尔兹曼机（RBM）、自编码器（AE）、深层信念网络（DBN）、深层玻尔兹曼机（DBM）以及和积网络（SPN），其中AE、DBN、和DBM需要RBM进行预训练。判别模型主要包括深层感知器（deep MLP）、生成前馈网络（deep FNN）、卷积神经网络（CNN）、深层堆叠网络（DSN）、循环神经网络（RNN）和长短时记忆（LSTM）网络。

值得一提的是，虽然受限玻尔兹曼机（RBM）、自编码器（AE）、深层信念网络（DBN）、深层玻尔兹曼机（DBM）以及和积网络（SPN）都被归类为生成模型，但由于模型中也包含判别过程，所以在一定条件下，也可以看作判别模型，并用于对数据的分类和识别，而且在用于产生序列数据时，循环神经网络（RNN）也可以看作是生成模型。自编码器作为一种深度学习模型，通常只是用作其他模型的构建模块，而不是作为一个独立的模型使用。