RNN-RBM for music composition 网络架构及程序解读

RNN(recurrent  neural network)是神经网络的一种，主要用于时序数据的分析，预测，分类等。

RNN的general介绍请见下一篇文章《Deep learning From Image to Sequence》。本文针对对deep learning有一点基础（神经网络基本training原理，RBM结构及原理，简单时序模型）的小伙伴讲一下Bengio一个工作(RNNRBM)的原理和实现。

本文重点内容：针对RNN（recurrent neural network）一个应用：music composition进行架构和程序解读，参见paper：Modeling Temporal Dependencies in high-dimensional Sequences。

-----------------------------------------------------------------

Content：

1. RNN 的 general 架构及思想

2. RNN-RBM的定义

     2.1 RTRBM结构

     2.2 RNN-RBM网络架构

     2.3 RNN-RBM的训练

3. RNN-RBM的实现及程序解读

-----------------------------------------------------------------

1. RNN 的 general 架构及思想

RNN是处理时序数据的NN模型，旨在建立时序数据模型，做模拟/预测/分类等。