受限波尔兹曼机在序列数据建模中的应用

此篇技术内容适合于具有一定深度学习基础特别是RBM方面的读者。对基础理论的学习可以参考其他博客（网络上特别多）

目前主流的RBM应用以及变种主要包括高斯-伯努利（GBRBM）以及二值/伯努利-伯努利（BBRBM），但是对于传统的回归模型，或者是关系建模方面，在很多应用中的情况是输入的特征与目标之间的关系并不是很强烈（参考Bengio 2007 Greedy Layer-Wise Training of Deep Networks），例如地理序列数据，金融序列数据等。为了解决这个问题，Bengio给出的解决方案是在模型的逐层训练中使用目标值对x的训练过程进行约束，从而是训练获得的权重也具有目标的特征。

在对连续数据进行建模时，使用GBRBM或BBRBM进行非监督的训练时可能会导致学习的特征具有对称性（Chen et al.2003）,因此为了对连接性的数据应用RBM，Chen et al. 2003提出了Continuous RBM。