《深度学习》第六章学习 深度前馈网络（Deep Feedforward Networks）（待完善）

前言知识

深度学习是从机器学习里面发展出来的，机器学习分为下面两个：

 一.频率派——统计学习：正则化、核化（Kernel SVM）、集成化、层次化(神经网络)

 神经网络中几个较为著名的代表：

  1.MLP（多层感知机）

  2.Autoenconder

  3.CNN、RNN

以上三种统称为Deep neural network（深度神经网络）

 二.贝叶斯派（PGM）——：有向图模型（贝叶斯网络）、无向图模型、有向模型加无向模型（即模型中既有向又有无向，为混合模型）

三个加上深度后统称为：深度生成模型（Deep Generative model）（概率图模型）

   贝叶斯网络（有向图）+深度=深度有向网络（Deep directed network）:

         代表：Sigmoid belief network ; Variational Autoenconder(VAE) ; GAN(生成式对抗网络)

   无向图+深度=深度无向网络（Deep bottzmam machine）

   混合模型+深度=深度信念网络（