自编码网络的一个高级版本:
加入了雅可比矩阵限制,即在隐藏层输出上添加了隐层输出h对输入x的雅可比矩阵的二范约束。
论文:
Contractive Auto-Encoders: Explicit Invariance During Feature Extraction
论文地址:http://www.icml-2011.org/papers/455_icmlpaper.pdf
RNN在deeplearning.net/tutorial上的地址:http://deeplearning.net/tutorial/rnnslu.html#rnnslu
RNN用在句子生成上,其中一个主要的步骤是word embeddings,其表示将一个单词
映射为一个向量,这样在比较单词相似性时,只需比较对应的单词向量的欧氏距离即可。
——————————————————————————————————————————
Theano中定义一个矩阵A,再定义一个矩阵B,当B作