轻量级遥感数据分布式调度框架DataboxMR

罗伯特之技术屋

于 2023-02-28 15:40:59 发布

阅读量209

点赞数

分类专栏：大数据及数据管理（治理）专栏计算机工程的科学与探索专栏文章标签：大数据 java 开发语言

本文链接：https://blog.csdn.net/weixin_57147647/article/details/129263181

版权

大数据及数据管理（治理）专栏同时被 2 个专栏收录

179 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

计算机工程的科学与探索专栏

85 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文提出了一种轻量级遥感数据分布式调度框架DataboxMR，旨在解决通用平台处理轻量级遥感任务效率低、用户使用复杂度高的问题。DataboxMR基于RS-UDF技术，支持用户已有程序封装，通过双层调度模式的DataboxMR-Engine实现高效调度和故障恢复。实验表明，DataboxMR在处理轻量级遥感数据任务时，相比基于内存计算的GeoTrellis，效率更高，系统开销更小。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

【目的】 目前,基于通用平台处理遥感数据,在提升处理效率的同时,也带来了执行轻量级任务效率低、用户使用门槛高、迁移代价大的问题。为降低用户处理轻量级任务的复杂度,降低基于通用平台处理带来的迁移代价,提高用户对任务调度端的控制力。【方法】 本文提出了一个高效处理遥感数据的轻量级分布式调度框架（DataboxMR）。框架基于UDF（User-Defined Function）技术设计实现了遥感数据处理服务组件（Remote Sensing User-Defined Function, RS-UDF）,RS-UDF支持用户已有程序封装、自定义函数封装和引用已有成熟处理技术,通过接口服务的形式实现同步调用和异步调用。此外,框架基于双层调度模式设计遥感数据调度引擎（DataboxMR-Engine）,支持指定节点处理任务,支持任务划分和分发及故障恢复等功能。【结果】 与基于内存计算的遥感数据处理工具GeoTrellis进行实验对比,结果表明,执行轻量级遥感数据处理任务时,DataboxMR效率更高,系统开销更小。【结论】 DataboxMR是一个轻量高效的遥感数据分布式调度框架。

关键词： 遥感数据; 分布式调度框架; UDF技术; 调度引擎