Keras框架 深度学习模型CNN+LSTM+Attention机制 预测黄金主力收盘价

—— 本篇文章 by HeartBearting

有问题欢迎与我交流。
评论留言或者联系我的邮箱:jiaohaibin@ruc.edu.cn
数据由JQData本地量化金融数据支持
实验2:
使⽤历史前5个时刻的 open close high low volume money
预测当前时刻的收盘价,
即 [None, 5, 6] => [None, 1] # None是 batch_size

这一篇继续对 实验2的模型 进行拓展,增加Attention机制

先写点Attention的简单介绍
attention本质:
其实就是一个加权求和。
attention处理的问题,往往面临的是这样一个场景:
你有k个d维的特征向量hi(i=1,2,…,k)。现在你想整合这k个特征向量的信息,变成一个向量h∗(一般也是d维)。
solution:
1.一个最简单粗暴的办法就是这k个向量以element-wise取平均,得到新的向量,作为h∗,显然不够合理。
2.较为合理的办法就是,加权平均,即(αi为权重): 而attention所做的事情就是如何将αi(权重)合理的算出来。
详情参考:https://blog.csdn.net/BVL10101111/article/details/78470716

神经科学和计算神经科学中的neural processes已经广泛研究了注意力机制。视觉注意力机制是一个特别值得研究的方向:许多动物专注于视觉输入的特定部分,去计算适当的反映。这个原理对神经计算有很大的影响,因为我们需要选择最相关的信息,而不是使用所有可用的信息,所有可用信息中有很大一部分与计算神经元反映无关。一个类似于视觉专注于输入的特定部分,也就是注意力机制已经用于深度学习、语音识别、翻译、推理以及视觉识别。

模型架构在这里插入图片描述
实验结果:结果看误差:MSE Test loss/误差: 0.0005358342003804944
在这里插入图片描述
点击查看源码

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页