LSTM-CNN-Attention算法系列之一：LSTM提取时间特征

https://www.toutiao.com/a6682630826011656711/

 

 2019-04-22 16:20:36

哈喽，大家好！我，人称神秘小马哥又回来了，不知道大家还记不记得上期我的秘密三叉戟，轻松力压股市三大指数。

 

 

 

 

 

这期我给大家解密一下我三叉戟的第一根利器，LSTM模型，它在股价预测中更优于传统计量模型，并在语音识别，语言翻译和智能营销等领域，也显示了其强大力量。

 

 

1、解剖LSTM模型

LSTM模型是RNN模型的一个特殊例子，那RNN模型又是怎么一回事呢，别急，待我细细道来。RNN模型最主要的特性，即当前时间的状态不仅受到当前信息的影响，还受到之前状态的影响，我们先来看看下面这个结构：

 

图表1 RNN结构

假设图中A为一段语音序列，X即表示这段语音中的一句话所含的信息，则第二句话不仅受自身所含信息X1的影响，还取决于第一句话所带的隐藏状态h0的影响。正因为此特性，RNN能够记忆序列本身信息，但因为RNN本身机制的设计，易导致严重的梯度爆炸和梯度消失问题（信息爆炸和后续信息丢失），从而记忆不了太长时间段信息，而且对内存和计算时间要求也高。鉴于此，LSTM提出了三扇“门”，遗忘门，输入门，输出门来解决RNN存在的问题。“遗忘门”——忘记部分过去的信息，“输入门”——记住部分现在的信息，然后将过去的记忆与现在的记忆合并后通过“输出门”——决定最终输出的部分。咦，人生不也如此嘛，忘记过去不开心的事情，记住当下美好的事物，才能生活的更美好（哎呀，一不小心，小马我撒了一下鸡汤，见谅）。下面我们言归正传，LSTM模型处理过程可如下图所示，Ct-1为上一阶段的信息状态，ht-1为上一阶段的隐藏状态，Xt为当前阶段所提供的信息。

图表2遗忘门过程

 

图表3输入门过程

 

图表4细胞状态更新

 

图表5输出门过程

以便大家理解，我再来给大家举个栗子，比如识别一段语音，X为其中一句话，我们在识别这句话时，会利用上一句话的信息帮助识别。假设上一句话的信息包含主题的性别，但此时这句话的信息中出现了新的性别，这时候“遗忘门”就起作用了，它会删去上句话中旧的主题性别，同时 “输入门”会更新新的主题性别。这样，当前信息状态即可得到一句新的输入。最终我们通过“输出门”决定输出哪部分信息，考虑到主题后可能出现的动词，它可能会输出主题的单复数信息，以便知道如何与动词结合在一起。通过对前期信息有选择的记忆和遗忘，LSTM实现了对相关信息的长期记忆，从而提取了时间特征。

 

 

2、LSTM模型的用武之地

LSTM模型的神秘力量现在已经被运用于多个场景中，指数预测，语音识别，精准营销，哪哪儿都少不了它的身影，下面我给大家一一简单讲述一下。

 

2.1上证综指指数收益率预测

首先，先让我给你们讲讲我小马是如何用它的，以上证综指为例，我将其最高价，最低价，开盘价以及成交量和各类市值指标数据喂入模型，来预测其5日价格变动。此价格变动可为投资提供仓位和买卖时点的参考，具有很强的应用价值。我选取2016年1月1日到2018年9月13日的数据作为训练样本，2018年09与14日到2019年1月4日的数据作为测试样本。众所周知，A股市场在17年迎来了投资风格转变的一年，小盘股风光不再，而大盘股开始春风得意，如图6所示。

图表6 指数走势

因此我们选择2016年到2019年3年数据，横跨两类投资风格，测试其对大盘指数收益率的预测效果，效果如下图。可见LSTM模型相较于传统线性模型ARIMAX对上证综指指数收益率的拟合轻松取得胜利。

 

图表7 上证综指收益率预测

 

2.2语音识别

在语音识别方面，LSTM也是风头正劲。2018年谷歌老大哥发布了一新型全神经移动端 Gboard 语音识别器，其首先用于所有使用美式英语的 Pixel 手机。其中预测网络和编码器网络是 LSTM RNN，联合模型是前馈网络，这将谷歌语音的性能提升了50%。

图表8 谷歌识别相同的语音句子时将服务器端语音识别器（左侧面板）与新型移动端识别器（右侧面板）进行对

 

2.3语言翻译

图表9 谷歌GNMT翻译机架构

 

2016年，谷歌（又是它，崇拜脸）

 

推出了其神经网络翻译系统（GNMT）。其在GNMT中，其编码层和解码层也都为LSTM结构。共有9层LSTM堆叠。其效果远好于当时最好水平的PBMT翻译系统，且在不同的任务翻译中，GNMT都已经接近人类专家水平。

图表10 PNMT翻译准确率

 

2.4精准营销

UBT（User Behavior Tracking）即用户行为数据跟踪是LSTM模型的另一大主场。UBT即记录用户在APP上的各类行为，包括设备、网络情况，软件环、地理位置分布、操作习惯等，数据具有非常大的挖掘价值，但同时挖掘难度也很大。相比于传统的建模方式(数据准备 -> 特征提取 -> 模型训练)，LSTM模型不仅能抓住某些特定的操作模式，还能记住用户历史的操作行为，在UBT这种和时间序列相关的案例中LSTM模型完胜。

以某信贷产品精准营销为例，LSTM模型以该产品现有借款用户在APP上的海量数据来训练，根据其是否逾期的表现，得到对用户风险评估有较好区分度的风险模型。该模型对此产品申请借款用户实现了很好的风险区分度。

图表11 某信贷产品LSTM精准营销框架

听完我的碎碎念，相信大家现在对LSTM模型有了一个大概的了解了吧。下期我会给大家讲我三叉戟的第二根利器，CNN模型，敬请期待！

 

 

关注兴业数金微信公众号，了解更多金融信息服务。