水环境模型与大数据技术融合研究

点击上方蓝字关注我们

水环境模型与大数据技术融合研究

马金锋¹, 饶凯锋¹, 李若男^1,2, 张京¹, 郑华^1,2

1 中国科学院生态环境研究中心城市与区域生态国家重点实验室，北京 100085

2 中国科学院大学，北京 100049

 摘要：水环境模型内部结构复杂且计算耗时，造成参数率定、多情景分析及决策优化过程中面临高负荷计算难题，这极大地限制了其应用价值的发挥。如何融合水环境模型和大数据技术，深入挖掘模型应用潜力和充分发挥其应用价值是一个研究热点。总结了水环境模型在实际应用过程中面临的瓶颈，分析了大数据技术在解决这些问题上具有的潜力。基于现有成熟的大数据技术，提出了水环境模型与大数据技术融合框架，解决了水环境模型规模计算、规模存储和应用分析问题。阐述了模型与大数据技术融合过程中面临的问题，提出了具体的实现技术思路。通过SWAT模型率定应用案例，证明融合框架的可行性。最后探讨了大数据背景下水环境模型的未来研究方向，指出开展复杂水环境模型的代理模型研究和水环境模拟优化框架研究是未来的发展趋势。

关键词：水环境模拟 ; 大数据 ; Hadoop ; MapReduce ; 融合

论文引用格式：

马金锋, 饶凯锋, 李若男, 等. 水环境模型与大数据技术融合研究[J]. 大数据, 2021, 7(6): 103-119.

MA J F, RAO K F, LI R N, et al. Research on the integration of water environment model and big data technology[J]. Big Data Research, 2021, 7(6): 103-119.

1 引言

模型是集成和综合不同观测数据、理解复杂的交互作用和测试假设，以及模拟历史、预测未来系统发展轨迹和决策如何应对未来趋势的重要工具。根据产生的来源，模型大体可被分为数据驱动和模型驱动两类，数据驱动模型（机理模型）基于关联关系构建，模型驱动模型（机理模型）基于因果关系构建。数据驱动模型是大数据价值体现链条中的重要环节，大数据的核心价值在于寻求或构建合适的模型，利用模型表达事物内在变化规律的过程。在大数据的原生定义中，基于事物之间的关联关系寻求和构建模型，模型构建的成败十分依赖数据的数量和质量。此外，由于数据驱动模型是基于关联关系构建的，其模拟结果无法给予合理解释，导致其认可度不高，因此数据驱动模型通常也被称为“黑箱模型”。目前在水环境领域中，由于可用数据数量少、数据质量低等原因，基于大数据技术成功构建的数据驱动模型案例并不多，总体上处于探索和发展阶段。相比数据驱动模型，水环境领域中的机理模型相对成熟和完善，得到广泛的推广和应用。然而，在大数据环境下，如何从新的视角审视已成熟的机理模型，探索其在大数据技术背景下的价值发挥是一个值得探讨的热点问题。

顾名思义，机理模型从因果关系出发寻找规律，是真实水环境系统的抽象和概化。水环境机理模型是对水体中污染物随空间和时间迁移的转化规律的描述，是一个描述物质在水环境中的混合、迁移过程的数学方程，即描述水体中污染物与时间、空间的定量关系。基于微分方程的水环境机理模型在过去的数十年间取得了极大发展，已经成为水资源及环境管理决策的有力工具。相对于数据驱动模型而言，机理模型除了具备模拟结果可解释、广泛认同和成熟应用的特点，还可以通过开源或者商业的方式获取，即模型的可获得性，这是机理模型区别于数据驱动模型的一个明显特点。数据驱动模型需要耗费大量计算资源来训练和构建，其核心在于如何创建模型；机理模型经过几十年的发展，已相对成熟和完善，其核心在于如何应用模型。相对于数据驱动模型而言，机理模型的可获得性、模拟结果的可解释性、科学界广泛的认同和实际中已有的成熟应用等特点共同决定了深度挖掘机理模型的应用潜力和充分发挥其应用价值是未来研究的重点方向。

在实际应用过程中，机理模型普遍面临大规模情景运算、模拟结果海量存储和高效分析的难题，这极大地限制了模型的推广和应用，因此，迫切需要探索新的技术和方法来解决这些难题。大数据技术在解决上述难题方面具有潜在优势，研究水环境模型融合大数据技术能否解决和如何解决上述难题是目前面临的一个挑战。本文以水环境模型为例，分析了该模型在实际应用中面临的瓶颈；针对这些瓶颈，分别从规模计算、规模存储和应用分析3个角度，提出了大数据技术与机理模型融合的技术思路，阐述了水环境模型与大数据技术融合的实现流程，以SWAT（soil and water assessment tool）模型率定为应用案例证明了框架的可行性；最后讨论了水环境模型在大数据背景下未来的研究方向。

2 水环境模型应用过程中面临的瓶颈

众所周知，基础数据难以获取以及模型率定、模型验证和场景分析中的高负荷计算是限制模型成功应用的主要瓶颈，如图1所示。水环境模型构建要求有足够的基础数据用于建模、校准和验证。基础数据（如地形、风速、外部污染负荷、流入、流出和开边界条件等）主要作为模型输入，也可为校准模型参数提供依据，评估模型是否能充分描述水体特点。模型需要的数据应尽量准确，数据的局限性会限制模型的应用，数据的质量和数量在很大程度上决定了模型应用的质量。实际上，能够获取的数据往往很少，精准的长期监测是解决数据匮乏的主要途径。此外，理论和经验方法也经常用于弥补数据的欠缺。

图1   水环境模型应用过程中面临的瓶颈及潜在解决方案

模型的核心价值在于对现实世界历史的重现、对未来的预测和对未来优化决策的响应。模型的率定反映了对历史的还原能力。由于水环境数值模型是对真实水环境系统的抽象和概化，模型的参数、输入数据和模型结构均存在不确定性。为了更加客观地反映自然水体中的一系列生化、生物反应过程，基于机理的数值模型在开发过程中不可避免地会引入大量参数。受监测资料和对复杂生态过程认知的限制，模型参数的率定往往存在较大困难，使得模型率定成为一个长期的研究方向。与此同时，大量的应用不断促进水环境模型的发展，模型变得日益复杂，需要考虑和包含更多的反应过程，增大了模型率定的难度。模型率定是一个严重依赖高性能计算的迭代过程，不同