2023.6.10 进度汇报 （自用

文献阅读

Title：Multimodal Deep Learning for Rice Yield Prediction Using UAV-Based Multispectral Imagery and Weather Data

Abstract: Precise yield predictions are useful for implementing precision agriculture technologies and making better decisions in crop management. Convolutional neural networks (CNNs) have recently been used to predict crop yields in unmanned aerial vehicle (UAV)-based remote sensing studies, but weather data have not been considered in modeling. The aim of this study was to explore the potential of multimodal deep learning on rice yield prediction accuracy using UAV multispectral images at the heading stage, along with weather data. The effects of the CNN architectures, layer depths, and weather data integration methods on the prediction accuracy were evaluated. Overall, the multimodal deep learning model integrating UAV-based multispectral imagery and weather data had the potential to develop more precise rice yield predictions. The best models were those trained with weekly weather data. A simple CNN feature extractor for UAV-based multispectral image input data might be sufficient to predict crop yields accurately. However, the spatial patterns of the predicted yield maps differed from model to model, although the prediction accuracy was almost the same. The results indicated that not only the prediction accuracies, but also the robustness of within-field yield predictions, should be assessed in further studies.

Keywords: convolutional neural network; heading stage; model depth; remote sensing; within-field variability

题目：基于无人机的多光谱图像和天气数据的水稻产量预测多模态深度学习

摘要：精确的产量预测有助于实施精准农业技术和在作物管理中做出更好的决策。卷积神经网络(CNN)最近被用于基于无人机(UAV)的遥感研究中预测作物产量，但在建模中没有考虑天气数据。本研究的目的是利用无人机在抽穗阶段的多光谱图像以及天气数据，探索多模态深度学习在水稻产量预测精度方面的潜力。评估了CNN体系结构、层深度和气象数据集成方法对预测精度的影响。总体而言，集成基于无人机的多光谱图像和天气数据的多模态深度学习模型有可能开发更精确的水稻产量预测。最好的模型是那些用每周天气数据训练的模型。对于基于无人机的多光谱图像输入数据，一个简单的CNN特征提取器可能足以准确预测作物产量。不同模型预测产量图的空间格局不同，但预测精度基本一致。结果表明，在进一步的研究中，不仅要评估预测的准确性，还要评估田内产量预测的稳健性。

关键词:卷积神经网络;抽穗期;模型深度;遥感;田间可变性

一、背景

1.传统的作物产量测量方法具有破坏性和费力性。由于模拟生理机制的基于过程的模型受到参数化数据可用性的限制，建议使用统计和机器学习模型的数据分析方法作为可能的替代方案。

2.机器学习算法在极少或不需要人为干预的情况下，可以开发出创新的方法来解决现实世界的问题，并帮助农民做出决策。

3.无人驾驶飞行器(uav)由于其优越的空间、光谱和时间分辨率而被广泛用于收集数据。

4.来自多光谱和RGB(红、绿、蓝)图像的植被指数(VIs)是作物监测的传统替代指标。基于无人机的多光谱和高光谱影像的冠层光谱信息可以估算植被的生理和几何特性，如叶片叶绿素含量、叶面积指数(LAI)、氮浓度、株高、生物量产量和籽粒产量等。

5.天气是影响作物生长和产量的主要环境因素之一。多模态深度学习方法，即将天气数据整合到CNN模型中，很少在涉及无人机遥感的研究中进行尝试。

研究目的：开发一个多模态深度学习模型，利用抽穗期无人机图像和天气数据预测水稻产量。从预测精度和计算时间方面评估了CNN层数、层深和天气数据类型对模型性能的影响

二、材料与方法

1.研究地点

日本种植水稻的宫城县、岐阜县、高知县。

2.图像采集与处理

水稻数据

无人机使用三种多光谱相机，通过在同一场同一日期拍摄多光谱相机的图像，比较了多光谱相机之间的光谱反射率关系。红边带对相机选择非常敏感;因此，只有三个波段(绿色，红色和近红(NIR))用于进一步分析。

利用Pix4D 对捕获的多光谱图像进行处理，生成反射率图像。地面采样距离范围为0.01 ~ 0.06 m pixel−1。利用采收后获得的遥感影像确定采收面积，利用GIS软件(QGIS 3.22.4)检索约1平方米采收面积的影像。将检索到的图像重新采样到100像素× 100像素，使用最近邻方法作为神经网络(ANN和CNN)的输入。

三种相机参数

天气数据

每个区域的每日气象信息收集自NARO农业气象方格网数据，天气数据包括降水、全球太阳辐射、温度(平均、最低和最高)、平均相对湿度、平均风速和蒸汽压数。抽穗期后四个星期的天气资料被汇总成每周累积值或每月累积值。所提供气象资料的空间分辨率为1 km × 1 km;因此，地理上相邻的字段具有相同的天气数据值。

3.网络模型

基于AlexNet架构的CNN模型，有天气数据（左），没有天气数据（右）。

                   

基于CNN-2conv架构的CNN模型，有天气数据（左），没有天气数据（右）。

              

4.模型训练

CNN模型的训练和测试过程在Python(版本3.8.10)中进行，使用Keras(版本2.8.0)机器学习应用程序编程接口[39]和TensorFlow(版本2.8.0)[40]后端。使用Adam优化器[38,41]，学习率为0.001%(默认值)。为了避免过拟合，在CNN模型的100个epoch中，采用提前停止的方式监测验证损失，耐心为15个epoch。

三、实验结果

1.AlexNet和CNN_2conv架构之间没有显著差异。层数和气象数据类型对模式性能的影响是显著的。然而，根据验证结果，不同层之间的模型性能没有显著差异。使用每周天气数据训练的模型的RMSE值显著低于不使用天气和美每月天气数据训练的模型。

 

 2.在使用AlexNet(模型8)或CNN_2conv(模型18)整合每周天气数据作为输入数据的模型中，发现了RMSE值最低的前两个准确模型。当AlexNet和CNN_2conv基于架构的模型进行比较时，观察到的产率和预测产率之间的关系没有明显差异。

 

 3.基于AlexNet和CNN_2conv架构的最准确模型的观测和预测水稻产量之间的关系如图所示。

4.基于AlexNet架构的模型(模型8)的预测良率范围高于基于CNN_2conv架构的模型(模型18)。模型8的预测产量为4.39 ~ 6.81 t/ha(平均值为6.13 t/ha)，模型18的预测产量为4.11 ~ 679 t/ha(平均值为5.82 t/ha)。两幅预测产量图都显示了产量在空间上的异质性。

四、结论

该研究表明，集成基于无人机的多光谱图像和天气数据的多模态深度学习模型具有开发更精确的水稻产量预测的潜力。结果强调，最好的模型是用每周的天气数据训练的。对于基于无人机的多光谱图像输入数据，一个简单的CNN特征提取器可能足以准确预测作物产量。不同模型的产量水平和预测产量图的空间格局存在差异，但预测精度基本一致。需要进一步的研究，通过收集各种产量观测数据和天气数据来探索这种方法的稳健性。