时空预测文章阅读2

每天阅读一篇，每天收获一点点

论文名称：Plant Growth Prediction using Convolutional LSTM

论文链接

---

论文提出了一种基于ConvLSTM的框架，应用编码器-解码器模型，利用过去的影像预测植物的生长。

---

两个不同：

1、使用RGB图像和标记的叶片图像作为输入，RGB图像具有颜色或曲率的特征，标记的叶片图像利于提取植物的性状特征。
2、论文是对于植物的生长进行预测，帧间隔比其他帧间隔要长，提出使用差值损失作为变化约束帧，质心损失作为叶片运动的直接约束。

编码器-解码器

编码器：在编码之前，输入的图像在每一个时间步一次通过编码器，在最后一个时间步，在他的细胞内编码器学习过去图像的表示，然后传给解码器ConvLSTM细胞进行预测，编码器的更新依赖于解码器的反向传播。
解码器：编码器的最后一帧作为解码器的第一输入帧，除了第一帧外，零也被使用作为输入，ConvLSTM隐层的输出作为解码器下一层的输入，在每一个时间步，解码器预测下一帧。

差值损失和质心损失

差值损失：约束叶片生长，如果没有Y（label）预测，就将对应的输入作为预测。

质心损失：对于叶片的运动有优化作用，叶片质心用Ct表示

数据集

数据集包含5个植物序列数据，划分训练集和测试集，图片分辨率为128*128，对数据进行90°，180°和270°的旋转。

网络结构

总结

通过阅读这篇论文，对于时空预测模型有一点点不一样的理解，通过提取图片的像素特征，对于植物的生长状态进行预测，欢迎相关文献的推荐！！！