Keras深度学习实战(33)——基于LSTM的序列预测模型
0. 前言
在《长短时记忆网络》一节中,我们了解到长短时记忆网络 (Long Short Term Memory
, LSTM
) 可以返回最后一个时间戳的结果,即输出为一维数据,而多对多神经网络架构输出为多个维度,其中每个维度对应一个输出,而非多个类别的 softmax
激活函数值。例如,在股价预测中,我们可以使用多对多神经网络架构预测未来 5
天的股价,而不仅是下一个交易日的股价;或者,对于给定的输入序列组合,我们不仅要预测下一个单词,而是要预测接下来 5
个单词的序列。在这类情况下,我们构建神经网络模型的方式有所不同。在本节中,我们将构建 LSTM
模型以提取不同时间戳的输出。
1. 序列学习任务
1.1 命名实体提取
命名实体就是人名、机构名、地名以及其他所有以名称为标识的实体。在命名实体提取中,我们试图为句子中存在的每个单词分配一个标签——标识其是否与命名实体有关。因此,命名实体提取是输入单词和输出类别之间的一对一映射的问题,标识单词是否为命名实体。尽管它是输入和输出之间的一对一映射,但在某些情况下,在确定输入单词是否为命名实体时,其周围的单词起着重要作用。例如,单词 new
本身可能不是命名实体。但是,如果 new
后伴随着 york
,那么 <