时空序列预测问题是输入的是按照某一时刻之前若干个时刻表示空间信息的二维矩阵,预测某一时刻后面若干个时刻的空间状态。可以形式化为:
卷积LSTM(Convolutional LSTM)是把卷积神经网络的思想和循环神经网络的思想融合到一个端到端的深度神经网络之中,使得网络既有提取时间信息的能力,又有提取空间信息的能力。ConvLSTM这种网络结构在视频帧预测,未来天气预测等时空序列预测问题中有很好的表现。下面介绍四篇关于卷积LSTM网络的论文。
Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
这篇论文首次提出了ConvLSTM的网络结构,在普通的FC-LSTM上加入了卷积层,使得网络在能够很好的提取时间信息的基础上,具有了提取空间信息的能力。可以成功的应用于视频帧预测和降水预测。
我们可以把FC-LSTM和ConvLSTM进行对比:
可以看到,ConvLSTM将FC-LSTM的矩阵乘操作变为了卷积操作,这样就不用将X展开成一维输入网络了,可以更好的保存空间信息。
网络的整体结构如下图所示: