Sequence Classification with LSTM Recurrent Neural Networks in Python with Keras-学习笔记

Sequence Classification with LSTM Recurrent Neural Networks in Python with Keras

1. 序列分类是一种预测建模问题，其中在空间或时间上具有一些输入序列，而任务是预测序列的类别。
2. LSTM(Long Short Term Memory networks)可以解决传统RNN的长期依赖(long-term dependencies)问题。它对传统RNN的隐层进行了结构上的改进。
3. Word Embedding是在高维空间中将单词编码为实值向量的技术，其中单词之间的相似度在含义上转化为向量空间中的紧密度。
4. 因为LSTM引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候往往会使用效果和LSTM相当但参数更少的GRU（目前比较流行的LSTM变种，不仅将遗忘门和输入门统一为更新门，同时在这个结构中，把细胞状态和隐藏状态进行了合并）来构建大训练量的模型。
5. Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。