论文阅读笔记《Memory In Memory: A Predictive Neural Network...》

0 摘要与介绍

时空序列预测任务定义

作者认为自然界中的时空序列预测问题很多都是高度非平稳(highly non-stationary) 的随机过程(即随机过程的统计特性随时间的推移而变化),不过根据Cramer的分解公式,任一非平稳的随机过程可以被分解为确定的,时变的多项式加上一个均值为0的随机项(看看这里)。通过应用不同的适当的操作,作者认为可以将时变的多项式转化为一个常量,使得确定性的部分具有可预测性。

要解决的问题

作者认为以前的LSTM魔改网络(如PredRNN)缺少对非平稳信息的建模让网络很难有着时空动力学的推理能力,造成预测图片模糊。说明白点,就是作者认为大多数用来做时空序列预测的循环神经网络的状态转移函数太简单了 ,阻止它们学习到更多的时空信息。

定位造成这个问题的原因

作者观察到在降水预测任务中,PredRNN中80%的遗忘门在所有时间步骤中都是饱和的,即没怎么随时间变化。(通过实验观测发现)

解决问题的方案

因此作者提出了一个Memory In Memory(MIM) 单元(把LSTM内遗忘门改了, 换成这玩意),并用于循环网络架构中。MIM单元会去学习两个相邻RNN神经元隐状态之间的微分信号来模拟时空序列中平稳与非平稳的特性。说得简单明白点,就是差分的思想,因为经典时间序列分析中的大多数统计预测方法都假设通过执行适当的变换(如差分)可以使非平稳趋势近似平稳。

关于MIM,扯得详细点

1 隐藏状态包含前后时间步骤图片的差分信息,而不光是卷积提取特征生成特征图就完事了
2 作者网络架构中叠加了多个MIM单元(就是深层RNN网络)
3 作者同时认为过度差分会导致信息的损失,所以只对遗忘门(处理的是memory)下手,没有对所有的LSTM门控单元下手
4 遗忘门被换成了两个模块

实验结果咋样

这么一搞,调参之后在人工合成数据集(MovingMNIST)和实际数据集(雷达回波,Human 3.6M)上实验结果达到2019年的state of the art了,就有了这篇论文。

1 相关工作

1.1 ARIMA

AutoRegression Integrated Moving Average(自回归移动平均模型)
它把power spectrum随时间保持不变的时间序列随机变量看作是信号和噪声的组合。ARIMA模型旨在将信号与噪声分离, 然后将获得的信号进行预测。从理论上讲,它通过差分将非平稳过程转化为平稳过程来处理时间序列预测。这也是这篇论文差分思想的来源。

1.2 Deterministic Spatiotemporal Prediction

确定性时空预测
研究历史:
RNN -> Seq2Seq+LSTM -> ConvLSTM -> ConvLSTM+Optical flow(结合了传统光流法) -> TrajGRU(卷积前先做grid sample采样,相当于网络本身可以学习卷积连接结构) -> Video Pixel Network -> ConvLSTM+zigzag memory flow架构(PredRNN, 即ST-LSTM) -> Adversarial Learning (走的GAN的路子,主要想解决预测序列模糊的问题)

2 模型

2.0 ST-LSTM

要想理解MIM,一定要先理解ST-LSTM即PredRNN,

一个单元相当于2个LSTM单元,Mt\mathcal{M_t}是zigzag中从上然后之字形往下流动的那个隐状态流

2.1 MIM块

如图, 左边是正常的LSTM单元,右边是嵌入MIM块的LSTM单元。注意,XtX_t 被替换成了Htl1H_t^{l-1},代表MIM块没法用于网络第一层。MIM-N用来处理non-stationary(非平稳)的信息,MIM-S用来处理stationary的信息。举个例子,假设这个网络正在处理一个视频序列,里面是一个行人以常速行走,那么他的速度可以被视为一个平稳过程的信息,他的摇动腿等动作可以被视为非平稳过程信息(显然很难被预测)。然而传统的LSTM-like网络的遗忘门几乎只学到了平稳过程的信息,遗忘门经常处于饱和状态。
MIM-N的输入包含了Ht1l1H_{t-1}^ {l-1}Htl1H_{t}^{l-1} , 捕获下面一层两个时间状态间的差分信息(Htl1Ht1l1)(H_{t}^{l-1}-H_{t-1}^{l-1}), 产生一个输出Dtl\mathcal{D}_t^l
MIM-S的输入包含了这个Dtl\mathcal{D}_t^l和本层前一个时间状态传递来的cell state: Ct1lC_{t-1}^l,用来捕获平稳过程信息

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读