Keras深度学习实战（33）——基于LSTM的序列预测模型

0. 前言

在《长短时记忆网络》一节中，我们了解到长短时记忆网络 (Long Short Term Memory, LSTM) 可以返回最后一个时间戳的结果，即输出为一维数据，而多对多神经网络架构输出为多个维度，其中每个维度对应一个输出，而非多个类别的 softmax 激活函数值。例如，在股价预测中，我们可以使用多对多神经网络架构预测未来 5 天的股价，而不仅是下一个交易日的股价；或者，对于给定的输入序列组合，我们不仅要预测下一个单词，而是要预测接下来 5 个单词的序列。在这类情况下，我们构建神经网络模型的方式有所不同。在本节中，我们将构建 LSTM 模型以提取不同时间戳的输出。

1. 序列学习任务

1.1 命名实体提取

命名实体就是人名、机构名、地名以及其他所有以名称为标识的实体。在命名实体提取中，我们试图为句子中存在的每个单词分配一个标签——标识其是否与命名实体有关。因此，命名实体提取是输入单词和输出类别之间的一对一映射的问题，标识单词是否为命名实体。尽管它是输入和输出之间的一对一映射，但在某些情况下，在确定输入单词是否为命名实体时，其周围的单词起着重要作用。例如，单词 new 本身可能不是命名实体。但是，如果 new 后伴随着 york，那么 <