雷达回波&视频预测核心问题及关键技术纪要

主流模型一览

这篇文章对主流时空预测模型做了总结，我在提炼浓缩一下，predrnn的改进是结构上到下以及下到上的连接，实际上Trijgru里shi就提到过这个他的encode-forcast结构是顶层指导底层，这个和yunbowang的结构其实不太一样。predrnn++里用ghu解决梯度的问题，mim里作者发现foreget门只记住了平稳的线性信息，e3d是rnn和c3d的结合并且在内部有个attention机制，他后续打算ProphetNet嫁接到Gru上来。

gan外推方法

这篇当然是最早的一批文章

但实际上雷达图并没有所谓背景与移动图像的分离，我很早之前看过一篇类似于先快速傅里叶变化然后分别预测高频和低频的文章

dcgan与convgru结合的：

当然国防科的也有2篇dcgan的aenn和mlc-lstm，他们的图里的结果很清晰这就很奇怪，我猜是因为图片尺寸小的缘故128*128，dcgan好训练我他喵就没成功过那么清晰的无论d是基于流的还是单帧的。

如下的两个问题其实我感觉是从模式的角度出发的实际上并不是因，而是结果：

他的创新处：

lk光流的缺点，这个我很早也注意到了：

他把卷积层替换成inception的结构，convgru的单元换成predrnn，这个思路跟我比赛中的思路差不多，但我觉得问题在于predrnn的结构确实从模式的角度来看被证明确实有效提高时空关联，但incepation较之普通卷积层实际上并没有解决时间上的问题，换言之传统卷积层提取空间信息完全够用，你堆再多层感受野在大那是显卡的问题而并没有解决时间角度上的非线性，所以加attention也是这么个道理。

就是这张图，所以我一直对国防科的两篇文章有疑惑，他们是这么做到又清晰评分又高的呢？mpl-gan的作者实现了高分辨率的预测但他给我的回复明确表示hss等相关技巧评分没有提高反而下降。

EBGAN

gan模型的两种观点：

当然他这个数据显然是造的，太明显了
这个估计也是造的：

为什么呢，我猜测的一个可能的原因就是两种损失函数优化得到pdf的方向是不同的，你折中了不见得就是真实的pdf，所以评分没有显著提高，或者说另一个原因是使用gan的大前提是认为训练集就是真实分布，也有可能优化的方向是对的，但是这样的抽样带来的误差更大，因为就算是有100万张雷达图也不可能代表真实分布，跟不要说只挑选出有明显回波过程的序列了，抽样误差比拟合精度更高带来的误差更大，我也做过消融同样是这种问题，所以这个问题真的很难。

GAN视频预测

首先指出了它的问题就是有限数据样本模拟真实情况

是的我还跑过这个，但是后来换方向就不了了之了，但效果是真的差

这里提到一个很关键的点就是模糊确实是时间上带来的不确定

wgan坑就坑在开源的用的优化器是rmsprop这东西根本更新不动好吧，反正我是弄不出来

wgan-gp这东西loss的曲线都是乱的我也搞不懂服了

当然现在大多数的视频预测都是conditionGAN，来源于pix2pix

为什么GAN评分不高的一些猜想

在试验过程中如果使用mse&mae+ssim+gdl损失函数与用mse&mae损失函数的预测结果对比边缘要更清晰一些，整体层次感更强一些，在与使用mse&mae+gan损失函数相比整体更锐化，而mse&mae+gan的损失函数则给人的感觉就是分辨率更高一些。在试验过程中损失函数的权重系数很重要，并且GAN训练框架下很难调优，容易遇到‘模式崩溃’问题。对于GAN来说有两种视角来看待其一是以生成器为主导去修正判别器，其二是判别器主导来修正生成器，我们以第二种视角来看，如下公式所示：

在梯度反传的时候，梯度的方向是由上述四个损失函数共同决定的，但是四个优化的方向对数据集的分布假设不一样，因而多个损失函数联合的优化的方向是否朝着真实的雷达回波分布去优化，联合损失函数的极值点是否是真实函数的极值点，这里需要打上问号。现阶段已有最新的研究如《MPL-GAN: Toward Realistic Meteorological Predictive Learning Using Conditional GAN》实现预测清晰的雷达图，其模型结构如下：

其结果如下：

但其并没有提示综合技巧评分反而有所下降，其指出GAN带来的基于概率视角的不确定性可以提升锐度但反而导致预测精度下降。因此进一步的思考和阐述模糊的原因，基于对抗损失函数的基本思路即训练一个与真实回波序列分布相同的生成器和一个能够鉴别真假分布的判别器，那么模糊的来源就是模式没法通过有限的训练集来学到真实的分布，无法覆盖整个空间，这是必然的因为雷达回波是一个高度非线性的随机过程，即使在使用condition GAN的情况下（引入一个先验）也极难预测，故而这个不确定性就会导致模糊的情况，那么可以认为这是系统误差。另一个可能的原因基于上述联合损失函数的梯度下降，那么在训练的后期即使前期人为的调整过各个损失函数的缩放参数保证量级不会差的太远，究竟是哪个损失函数在起到主导作用？，进一步思考这个梯度下降的方向从mse&mae的角度来看和从对抗损失的角度来看究竟更偏向谁？速度如何？还是在‘折中’的时候导致了最后的预测模糊，这个需要进一步的探究和非常深入的定量分析。