【时空序列预测第七篇】Satellite Image Prediction Relying on GAN and LSTM Neural Networks

最新推荐文章于 2024-03-26 20:37:05 发布
置顶 最新推荐文章于 2024-03-26 20:37:05 发布
阅读量9.1k 收藏 71
点赞数 7
分类专栏： 时空序列预测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33431368/article/details/104697960
版权

文章目录

一、Address

ICC 2019的一篇paper，为清华团队所写

思路很有趣，也很容易想到，就是用比较火的GAN加上LSTM

Satellite Image Prediction Relying on GAN and
LSTM Neural Networks

二、Introduction and Model

2.1 主要创新点

2.2 主要任务

本质上是时空序列预测问题，利用的是卫星云图


主要是过去的序列预测未来的一个时刻的图片

2.3 基本模型

2.3.1 GAN（Generative Adversarial Networks）

对抗生成器。

简单来说，就是有一个生成器，有一个判别器，生成器输出假的数据，把这个数据和真数据一起输入到判别器中，判别器没法判断哪个是真是假，这是最理想的训练情况，换句话说，就是生成器生成的数据可以以假乱真了，就到达这个目的了，不知道大家是否了解，可以去看很多资料，讲的很nice，如果实在是不懂，可以留言，我写出来几篇就差不多了。

最基本的GAN的loss如下：

2.3.2 LSTM（Long Short-Term Memory Networks）

这个就不需要多讲了吧，我个人写了好几篇LSTM相关了，可以去看看。
这个模型中的LSTM输入为卫星云图的序列数据，输出为提取的特征数据，也就是更深层的表现。

LSTM提取序列的一些深层时间特征， 比如云的motion特征

2.4 创新模型GAN-LSTM


主要的模型结构

训练分为两个步骤

  1. 只用真实数据集先去训练GAN，这里的限制条件是输入为固定的维度和形式，训练完成后，把GAN的生成器与判别器分开，再接下来的步骤中生成器的权重是不变的，一直保持训练好的参数。
  2. 用时间序列的卫星图片输入到LSTM中，因为图片太大了，所以通过两层hidden layers进行减少图片的维度，应该指的就是下采样，训练LSTM输出与第一步中生成器输入的相同维度的向量，最终通过LSTM输出的向量，用固定参数的生成器生成最终的下一个时刻的预测数据。

这里有一个疑问？为什么要分开训练呢？paper里也解释了，简单来说就是GAN主导了model

接下来也对很多GAN进行比较了，毕竟传统GAN训练真的很费劲。

三、Experiments

3.1 数据集和参数

利用的是 FY-2E 图片数据集，大小为552乘以552， 三小时采样一次。

图片预处理，为了加快收敛。减小计算量，输入为灰度图，并且标准化图片。

3.2 训练GAN

红色为D的训练部分，紫色为G的训练部分。

3.3 GAN训练结果


WGAN在最高迭代次数的时候，慢慢结果显示出海岸线，学习的效果较好。

3.4 训练GAN-LSTM

3.4.1 数据划分

3.4.2 数据整合和选择

为了学习到evolution特征，我们需要有运动变化的图片，所以选择每三个小时的，太近的没啥区别了。

之后我们输入序列为8，预测未来一帧

3.4.3 总体训练

注意看标红的地方大概就清晰了

3.4.4 结果

这边利用上面的训练方式 也对 autoencoder进行了类似的训练。

用FCM算法对图片进行分割，变为黑白图片，白代表云层，黑代表没有云，这种图片称为CS图片

3.4.5 评测

我们用CR对结果进行评估

为了更好地来比较模型的性能，我们迭代预测未来的五帧


很明显由于误差的叠加和预测的距离的增加，肯定是降低的，但是GAN-LSTM显示出明显的优势，下降也不是很明显。

四、Conclusions

  1. 引入LSTM和GAN的协同合作来解决时空序列问题
  2. 利用GAN来进一步提取特征，并且可以把维度降低
  3. LSTM和GAN的分开训练的想法
AI蜗牛车
关注
  • 7
    点赞
  • 踩
  • 71
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
用LSTM实现文本生成和生成对抗网络(GAN)
禅与计算机程序设计艺术
07-18 2998
作者：禅与计算机程序设计艺术 近年来，深度学习在各种各样的领域都取得了巨大的成功。自从计算机在图像处理、自然语言处理、生物信息等领域获得突破性进展之后，深度学习也逐渐应用于其他领域，例如，在音频、视频、推荐系统、金融领域，也取得了惊人的成果。其中，生成模型（Generative model）最具代表性，通过学习数据分布或特征，可以创造新的
GAN 、LSTM与GRU
qq_60272314的博客
10-21 2238
在阅读论文Multi-Level Sequence GAN for Group Activity Recognition时候，发现其使用的是LSTM+GAN，特此，对GAN与LSTM进行了解。 生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的
RECURRENT NEURAL NETWORKS FOR PREDICTION
03-30
新技术在工程，物理和生物医学的要求日益复杂的数字信号处理的方法。通过展示最新的研究工作中，作者展示了如何真正的 - 递归神经的网络（RNNs）可以实现扩大范围的传统的信号处理技术，并帮助解决这个问题的预测。在这个文本中，被认为是神经网络的大型互联非线性自适应滤波器。
LSTM-Neural-Network-for-Time-Series-Prediction-master.rar
06-13
tensorflow下用LSTM网络进行时间序列预测，实时多变量预测和对于未来数据的单变量预测，代码中做了详尽的中文解释，并对一些参数进行了注释和说明。
EXPLORING THE INTERPRETABILITY OF LSTM NEURAL NETWORKS OVER MULTI-VARIABLE DATA
10-18
In learning a predictive model over multivariate time series consisting of target and exogenous variables, the forecasting performance and interpretability of the model are both essential for deployment and uncovering knowledge behind the data. To this end, we propose the interpretable multi-variable LSTM recurrent neural network (IMV-LSTM) capable of providing accurate forecasting as well as both temporal and variable level importance interpretation. In particular, IMVLSTM is equipped with tensorized hidden states and update process, so as to learn variables-wise hidden states. On top of it, we develop a mixture attention mechanism and associated summarization methods to quantify the temporal and variable importance in data. Extensive experiments using real datasets demonstrate the prediction performance and interpretability of IMV-LSTM in comparison to a variety of baselines. It also exhibits the prospect as an end-to-end framework for both forecasting and knowledge extraction over multi-variate data.
Wind-Energy-Prediction-using-LSTM:使用LSTM进行风能预测的时间序列分析
05-18
使用长期短期记忆（LSTM）进行风能预测 有关完整的详细信息，请阅读CSE 523项目报告.pdf。 介绍 由于风速/功率具有可再生性和环境友好性，因此在地球上受到越来越多的关注。 随着全球风电装机容量的Swift增加，风电行业正在发展为大型企业。 可靠的短期风速预测在风能转换系统中起着至关重要的作用，例如风轮机的动态控制和电力系统调度。 精确的预测需要克服由于天气条件波动而导致的可变能源生产问题。 风产生的功率高度依赖于风速。 尽管它是高度非线性的，但风速在特定时间段内遵循特定模式。 我们利用这种时间序列模式来获得有用的信息，并将其用于功率预测。 LSTM用于对数据执行不同的实验并得出结论。 结论 我们的目标是改善对使用风能发电的功率的预测，并且已经实现了将LSTM用作机器学习模型并对其进行模型优化。 我们还观察到，如果风速小于4 m / s，则系统生成的功率为零。 LSTM无法学习这
基于RNN_LSTM_GAN混合预测（Python代码实现）
weixin_46039719的博客
03-26 1841
GAN-LSTM模型将GAN的生成器附加在LSTM网络的输出层之后，从而建立了LSTM提取的高级时空特征与未来剩余油饱和度场图像之间的映射，通过GAN的生成能力来完成高维饱和度场图像的预测生成，该模型的基本结构如图3所示。LSTM模型能够有效地提取时间序列数据的高级时空特征，对于剩余油预测问题，这些特征能够隐式反映油藏饱和度场的变化趋势和速率，从而能够帮助我们进行未来的剩余油饱和度场预测，但是由于LSTM本身结构的限制，其在高维度输出预测的情况下难以训练。部分理论来源于网络，如有侵权请联系删除。
长短期记忆网络（LSTM）和生成对抗网络（GAN）
最新发布
Mdaying的博客
03-26 616
该模型能够学习正常交易数据的分布，并生成新的样本来提高判别器的识别能力，从而提高异常检测的准确性。生成器：首先使用全连接层将输入的随机噪声映射到更高维度，然后通过批量归一化和激活函数进行处理，最后通过另一个全连接层生成模拟的交易数据。训练过程：在每个训练批次中，首先训练判别器区分真实数据和生成数据，然后固定判别器的参数，训练生成器欺骗判别器。判别器：使用LSTM层和全连接层构建，输入为交易数据，输出为数据是否正常的概率。生成器：使用全连接层和批量归一化层构建，输入为随机噪声，输出为生成的交易数据。
【时空序列预测第十八篇】时空序列预测模型之STSGCN
AI蜗牛车
12-30 7653
作者|Subranium&包子研究| 城市计算出品 | AI蜗牛车一、Address来自于北京交通大学的一篇文章，发表在AAAI 2020:Spatial-Temporal...
D-GAN用于时空预测的深度生成对抗网络
zuiyishihefang的博客
04-13 2625
1文章信息《D-GAN: Deep Generative Adversarial Nets for SpatioTemporal Prediction》2摘要出租车需求、交通流、区域降雨等...
LSTM_GAN修改.ipynb
04-17
利用生成对抗网络对股票进行预测
LSTM-Neural-Network-for-Time-Series-Prediction_LSTM_股票预测_921212a
10-02
基于LSTM预测股票价格走势
Attention and Memory in Deep Learning and NLP
WitsMakeMen的专栏
01-09 454
转自：http://www.wildml.com/2016/01/attention-and-memory-in-deep-learning-and-nlp/ Attention and Memory in Deep Learning and NLP A recent trend in Deep Learning are Attention Mechanisms. In an interview,...
图神经网络 图卷积神经网络_如何使用图神经网络监控城市中的树木
weixin_26729375的博客
09-03 378
图神经网络 图卷积神经网络In order to aid tree health and status monitoring, we use Graph Neural Networks to geo-localize them in urban settings in an automated and efficient way.为了帮助树木健康和状态监测，我们使用Graph神经网络以自动化和有效...
生成对抗网络GAN（MNIST实现、时间序列实现）
爱猫的小学森
01-17 1186
生成对抗网络（Generative Adversarial Network，简称GAN）是一种深度学习模型，由Ian Goodfellow等人于2014年提出。它由两个主要组件组成：生成器（Generator）和判别器（Discriminator）。GAN的目标是通过两个网络之间的对抗学习来生成逼真的数据。生成器（Generator）： 生成器是一个神经网络，它接收一个随机噪声向量作为输入，并试图将这个随机噪声转换为逼真的数据样本。在训练过程中，生成器不断试图提高生成样本的质量，使其能够欺骗判别器。
【论文】时空预测模型Spatio-Temporal Graph Convolutional Networks
Citroooon的博客
12-18 1483
stgcn
使用 TimeGAN 建模和生成时间序列数据
热门推荐
deephub
09-09 2万+
在本文中，我们将研究时间序列数据并探索一种生成合成时间序列数据的方法。 时间序列数据 — 简要概述 时间序列数据与常规表格数据有什么不同呢？ 时间序列数据集有一个额外的维度——时间。 我们可以将其视为 3D 数据集。 比如说，我们有一个包含 5 个特征和 5 个输入实例的数据集。 那么时间序列数据基本上是该表在第 3 维的扩展，其中每个新表只是新时间步长的另一个数据集。 主要的区别是时间序列数据与表格数据相比有更多的数据点实例。 能源数据集的案例研究 如果我们看一下能源数据集，它实际上看起来只是一个常规
【时序】时间序列领域的 GAN 模型综述论文笔记
stay hungry, stay foolish.
04-13 1万+
论文年份：2021，论文被引：8（2022/04/13）
【时空序列预测第二篇】Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
AI蜗牛车
11-20 1万+
Address https://arxiv.org/pdf/1506.04214.pdf Preliminaries
复现lstm-neural-network-for-time-series-prediction
08-07
LSTM神经网络是一种在时间序列预测中广泛应用的深度学习模型。在复现"lstm-neural-network-for-time-series-prediction"这个项目时，可以按照以下步骤进行： 1. 导入所需的Python库，包括Keras和Numpy等。 2. 准备数据集，包括训练集和测试集。可以使用已有的时间序列数据，如股票价格或天气数据。 3. 对数据进行预处理。可以使用特征缩放、平滑或差分等方法来准备数据输入。 4. 构建LSTM模型。可以使用Keras库中的LSTM类来构建模型，通过设置不同的参数来调整模型的结构和性能。 5. 编译和训练模型。使用适当的损失函数和优化器编译模型，并使用训练集进行迭代训练。 6. 进行预测和评估。使用训练好的模型对测试集进行预测，计算预测值与真实值之间的差异，评估模型的性能。 7. 可以根据需要进行调整和优化。如调整模型结构、参数调优、使用其他技术来提高模型的准确性。 此项目的核心是使用LSTM神经网络对时间序列数据进行预测。通过使用适当的数据预处理和模型构建，可以提高模型的预测准确性。最终的目标是根据已有的时间序列数据对未来的趋势进行预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值