论文阅读笔记 Time-Aware Multi-Scale RNNs for Time Series Modeling IJCAI21

原文链接
代码地址
补充知识
CW-RNN
博客1
博客2
博客3
博客4
博客5
以上全为CWRNN的介绍博客。
此博客中介绍的第四篇论文是TAMS-RNN，可以看看。

关键点：
1.RNN到CWRNN
（1）把隐含层节点分成了若干个模块，而且每个模块都分配了一个时钟周期（Ti），便于独立管理。
（2）隐含层之间的连接，一个模块内部是全连接，但是模块之间是有方向的。模块之间的连接是从高时钟频率的模块（长期记忆）指向低时钟频率的模块（短期记忆）。
CWRNN使得RNN能更好地对时间序列中的不同尺度（长期、短期记忆）进行建模。
2.CWRNN到TAMS-RNNs
（1）TAMS利用上下文增加模块影响权重（softmax）
（2）CWRNN中隐含层节点中的新模块会影响同一节点中的较早的模块，TAMS不会。