attention机制的理解及计算

参考博客：https://blog.csdn.net/qq_42363032/article/details/124651978?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167532754116800217065573%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=167532754116800217065573&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-1-124651978-null-null.142^v72pc_new_rank,201^v4add_ask&utm_term=attention&spm=1018.2226.3001.4187
注意力权重的计算方法：https://www.bilibili.com/video/BV1pY4y1B7Yg/?spm_id_from=333.788&vd_source=26e80390f500a7ceea611e29c7bcea38
注意力权重计算：https://blog.csdn.net/u011984148/article/details/99439993
本论文添加在注意力机制思想：

本研究模型的两个两点：

1. 将数据输入到lstm网络之前，让上一时刻的隐藏状态和这时刻的输入充分交互。为了得到这时刻更加符合真实情况的数据。也就是高质量数据然后给这些高质量数据再加注意力权重，会得到更好的结果
2. 比如一个时间步中预测前一天的注意力权重应该最大两种方法加起来都能使模型预测效果更好

rnn的编码器-解码器的理解：https://blog.csdn.net/weixin_38481963/article/details/108962662
拓展到lstm的编码器-解码器的应用（many-to-one）型lstm