LITE: Modeling Environmental Ecosystems with Multimodal Large Language Models

本文是LLM系列文章，针对《LITE: Modeling Environmental Ecosystems with Multimodal Large Language Models》的翻译。

摘要

环境生态系统的建模在我们星球的可持续管理中起着关键作用。对关键环境变量在空间和时间上的准确预测有助于制定明智的政策和决策，从而改善民生。最近，基于深度学习的方法在预测环境变量的时空关系建模方面显示出了希望。然而，由于数据收集的高昂成本和测量仪器的故障，这些方法在处理环境数据中常见的不完整特征和分布变化方面往往不足。为了解决这些问题，我们提出了LITE——一种用于环境生态系统建模的多模态大型语言模型。具体来说，LITE通过将不同的环境变量转换为自然语言描述和折线图图像来统一它们。然后，LITE利用统一编码器来捕获不同模态中的时空动态和相关性。在此步骤中，不完整的特征由稀疏混合专家框架估算，分布变化通过结合过去观测的多粒度信息来处理。最后，在领域指令的指导下，采用语言模型来融合预测的多模态表示。我们的实验表明，与最佳基线相比，LITE显著提高了不同领域的环境时空预测性能，预测误差降低了41.25%。这证明了其有效性。我们的数据和代码在https://github.com/hrlics/LITE可用。

1 引言