Deep learning From Image to Sequence

本文笔记旨在概括地讲deep learning的经典应用。内容太大，分三块。

---------------------------------------------------------------------------------------------

                                                     Content

1. 回顾 deep learning在图像上的经典应用 

    1.1 Autoencoder

    1.2 MLP

    1.3 CNN<详细的见上一篇CNN>

2. deep learning处理语音等时序信号

    2.1 对什么时序信号解决什么问题

    2.2 准备知识

        2.2.1 Hidden Markov Model(HMM)

        2.2.2 GMM-HMM for Speech Recognition

        2.2.3 Restricted Boltzmann Machine（RBM）

3.  DBN 和 RNN 在语音上的应用 

    3.1 DBN

        3.1.1 DBN架构

        3.1.2 DBN-DNN for Speech Recognition

    3.2 RNN

        3.2.1 RNN种类

        3.2.2 RNN-RBM for Sequential signal Prediction

---------------------------------------------------------------------------------------------

1. 回顾 deep learning处理图像等非时序信号 <详细的见上一篇CNN>

----------------------------------------------

1.1 AutoEncoder（unsupervised）

扩展：Stack AutoEncoder（可以变成supervised），见Andrew Ng的UFLDL教程，我就不贴图了

----------------------------------------------

1.2 MLP

MLP（ANN）是最naive的神网分类器。一个hidden层，连两端nonlinear function，output输出为f(x)，softmax做分类。

----------------------------------------------

1.3 Convolutional Neura