遥感大数据自动化处理生产的产品功能、技术与系统架构设计

遥感大数据是一种改变业务管理与社会治理方式的新型生产要素和“新质生产力”。遥感是通过传感器和遥感器等对电磁波敏感的仪器,感知地面空间和地物目标的形态和变化的一种手段,这其中的仪器不仅包括密布太空中的卫星,也包括低空经济中重要位置的无人机

当遥感数据作为一种生产要素,要充分发挥其价值,究其根本,与实体商品生产流通逻辑有诸多相似之处:一方面要降低产品生产成本,如生产周期与自动化程度、存储成本等;而在需求端,也要引入市场概念,根据客户需求的科学供给,不仅提供标准品,同时也面向细分市场提供增值信息产品与专题定制产品。

同实体产品一样,卫星遥感数据需要通过特定的工序流程对原材料进行加工,才能确保到最终用户手中的产品质量可靠、精准可用;而与实体产品不同的是,最终用户对产品要求是多元或多变的,但又需要立即获得“所得即所需”的产品。

遥感影像数据的标准品实时自动生产共享

图片

点击可放大查看🔼

上图是数简时空数字基础平台的全景图,囊括了多源时空数据从获取到最终应用的重要环节,平台参考SOA架构和数据中台的设计思想,结合时空数据的专业需求,设计为一套相互独立、高度集成的模块化的云原生平台,不仅无需预先处理(如预先切片、预先拉伸、预先采集金字塔等),实时自动化发布共享标准数据产品;同时可以从终端用户需求出发,快速定制其所需的个性化数据产品。

我们今天就来解析这个B/S架构的一体化平台,是如何实现遥感大数据云端实时智能加工+动态个性化分发、共享管理、灵活应用的。

对于每天源源不断新鲜获取的卫星遥感数据进行“标准品”生产,相对于传统模式下需要人员按照固定流程预处理后才能发布服务的方式,平台支持“无人值守”的“自动入库、实时发布”模式。

平台采用监听程序,当政企时空数据中台面对每天接收到GB-百TB级的最新遥感影像数据时,即可按照数据文件目录,自动进行数据服务的实时发布;

对于大规模遥感影像入库,平台支持多节点集群并发入库,每小时至少2TB以上的影像建库效率,可灵活的增加服务节点提升入库性能;

数据入库同时,平台会自动进行元数据采集录入(也支持手动批量录入),并根据卫星自带的 RPC 文件对多光谱和全色影像动态校正入库,对入库的“问题”数据进行批量检查和报告;同时进行高效时空索引的灵活自动构建(外包矩形、内接四边形、精准边界提取,具体可查看数简视频号 - 产品系列教程 第4期-边界提取)

数据入库后即可全分辨率浏览、集中管理、灵活查询调用、分析统计和可视化展示。

图片

数简遥感数据实时自动发布模式在测绘院实际运行截图

该模式将多个传统技术下遥感数据服务生产的固定顺序流程,转化为多线程同步自动一体化,在多源、海量时空数据汇聚和需要快速更新共享的场景下,帮助用户做到遥感数据“入库即发布、入库即管理、入库即应用”,让数据中台的效率节节up!

与此同时,免切片模式也大幅降低了数据存储占用空间,后期随着数据不断增加,存储也可灵活、横向扩容。

在数简以往产品操作视频中,也演示过相关过程,挑战将百GB遥感数据直接发布为标准OGC WMTS服务。在发布过程中,波段映射、拉伸处理、底图自动镶嵌均同步进行;用户可通过时空索引技术进行统一管理与查询调取应用,支持ArcMap和SuperMap桌面端,以及QGIS、 Leaflet、Openlayers、 Cesuim等常见终端的加载。

图片

相关完整操作视频 —— 

数简时空平台教程02 卫星无人机影像发布与管理 百GB级数据秒级发布与图层灵活管理

平台同时支持Level1A级粗校正卫星影像数据,自动化解压入库、自动化深加工生产到正射影像服务(DOM)。

图片

解压后的Level1A卫星遥感影像直接发布为在线标准OGC服务

那么,面对终端用户千人千面的多样化和多变的需求,如何快速进行个性化产品生产的呢?

这时,就要着重推荐平台“按需动态处理”的特性。

这其中不仅包括超过300种国内外常见的坐标和投影系、国家标准CGCS2000系列坐标系和投影系、用户输入投影七参数的动态转换;同时也能对数据进行各种参数实时处理和转换,如拉伸方式、透明度、显示级别、波段映射等;以及在发布过程中的实时运算服务,包括高程或数值影像的颜色表渲染,高光谱可见光波段的自由映射和组合,以及植被指数实时计算发布;在终端用户浏览时,还能根据其浏览需求,进行动态RPC校正。

图片

数简时空数据基础平台参数设置界面:发布前简单设置各种基本参数,即可在发布同时进行处理 🔼

平台采用的“免切片”技术保留了组成数据服务中每个数据文件的独立和完整性,即使已经发布的数据服务,也可以对全部或部分数据灵活更改参数设置、动态控制图层,无需重复切片预处理;也可在批量自动处理时,设置智能过滤条件,对符合条件的数据进行相应的处理和发布服务。

图片

平台发布后的数据服务,也可以对其中单个或部分影像的图层控制和数据属性查看,单个影像也可直接分享

对于政企数据中心来说,不论是动态更新接入的卫星无人机遥感数据,还是采购的商业卫星数据,之前积累的成果数据、中间成果数据、专题数据,都可以通过平台统筹集中管理、实时共享、灵活分发和快速再利用。

下单启动在线智能处理与计算 让数据实时成为个性化信息产品

紧接上面提出的个性化产品需求,其实在不同行业管理部门,或企业多个业务线的数智化应用中,会对数据提出更高的要求:让遥感数据快速成为其需要的信息产品。

图片

请注意橙色标注部分 🔼

注意上图,图上方这个逆向箭头,是指终端用户可以在数据门户网站中,采用“在线订单”的方式,通过“时空数据智能分析平台”中的多种内置算法,快速对接数据源,在线定制自己需要的信息产品;而横跨数据服务下方的“流程编排和任务控制”,能够让用户和业务部门根据自身需求定制遥感数据的处理流程。

其可以通过简单的操作,选择所需的数据类型、处理算法和输出格式,实现实时个性化的信息产品生成。

目前,数简智能分析平台中已内置了20余种数据处理与信息提取算法,包括辐射定标、云识别、大气校正、波段运算等遥感通用处理算法,匀光、匀色等数据前处理,图像滤波等算法;以及栅格分割分类、变化检测、目标提取等AI智能模型;面向无人机影像的校正、DOM生产、几何精校正等处理以及NDVI、NDWI算法。

智能分析平台采用开箱即用的模式,用户“下单”即可启动在线计算与分析,并对计算结果进行实时在线的全分辨率浏览。

图片

实时在线的NDVI(归一化植被指数)计算 🔼

平台支持便捷扩展和接入运行客户自有算法模型,以及算法服务的封装、重用、服务组合、服务调度,也可面向模型训练需求快速提供就绪的遥感数据集。

通过以上介绍,可以看到,在当前的遥感以及时空数据产业中,单纯的“快”已经不是衡量数据平台的唯一指标,在面对多行业、企业、大众越来越多元化数据需求的今天,“智能化”已经成为发挥数据要素乘数效应的关键特性,它包含了自动化、灵活性和动态变换等多种特征,最终目标还是让政企用户对于专业数据的管理、处理与应用各环节都变得更简单。

其背后不仅有高性能驱动支撑,高弹性、高可用的系统架构设计,更为重要的是,面向政企用户实际需求的技术与产品研发持续投入积累。

当然,数据生产只是一个开始,接下来,我们将结合行业特性,深入解析时空数据中台的智能分析和流程编排平台,对农业、自然资源、保险金融、能源、水利等行业基于时空大数据的数字化转型与业务数智化升级的帮助和收益。欢迎关注!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值