云原生+AI,把卫星遥感虐的死去活来

请添加图片描述
在Docker容器技术即将统治世界的趋势下,作为地理遥感领域的AI处理解译平台,华为云GeoGenius空天地平台,早已开始全面的云原生方向转型。本文总结大规模遥感影像处理在云原生平台的落地经验,期间各种性能并发等场景优化经验有不少借鉴意义,与各遥感同行分享。

本文作者:唐盛军,华为云城市智能体架构师,拥有多年开发经验,先后从事:网络协议识别&解析、业务控制网关等网络协议相关工作;13年开始转战云计算,熟悉OpenStack,CloudFoundry,Docker,Kubernetes实现原理,精通常见的物理&云网络技术。目前负责容器业务产品化,如:遥感,基因,大数据,AI等

AI牛啊,云原生牛啊,所以1+1>2?

遥感影像,作为地球自拍照,能够从更广阔的视角,为人们提供更多维度的辅助信息,来帮助人类感知自然资源、农林水利、交通灾害等多领域信息。

AI技术,可以在很多领域超过人类,关键是它是自动的,省时又省力。可显著提升遥感影像解译的工作效率,对各类地物元素进行自动化的检测,例如建筑物,河道,道路,农作物等。能为智慧城市发展&治理提供决策依据。请添加图片描述
云原生技术,近年来可谓是一片火热。易构建,可重复,无依赖等优势,无论从哪个角度看都与AI算法天生一对。所以大家也可以看到,各领域的AI场景,大都是将AI推理算法运行在Docker容器里面的。AI+云原生这么6,那么强强联手后,地物分类、目标提取、变化检测等高性能AI解译不就手到擒来?我们也是这么认为的,所以基于AI+Kubernetes云原生,构建了支持遥感影像AI处理的空天地平台。详见:https://www.huaweicloud.com/product/geogenius.html

不过理想是好的,过程却跟西天取经一般,九九八十一难,最终修成正果。

业务场景介绍

遇到问题的业务场景叫影像融合(Pansharpen),也就是对地球自拍照进行“多镜头合作美颜”功能。(可以理解成:手机的多个摄像头,同时拍照,合并成一张高清彩色大图)。请添加图片描述
所以业务简单总结就是:读取2张图片,生成1张新的图片。该功能我们放在一个容器里面执行,每张融合后的结果图片大约5GB。

问题的关键是,一个批次业务量需要处理的是3000多张卫星影像,所以每批任务只需要同时运行完成3000多个容器就OK啦。云原生YYDS!

业务架构图示

为了帮助理解,这里分解使用云原生架构实现该业务场景的逻辑图如下:请添加图片描述
图片
在云上,原始数据,以及结果数据,一定是要存放在对象存储桶里面的。因为这个数据量,只有对象存储的价格是合适的。(对象存储,1毛钱/GB。文件存储则需要3毛钱/GB)

因为容器之间是互相独立无影响的,每个容器只需要处理自己的那幅影像就行。例如1号容器处理 1.tif影像;2号容器处理2.tif影像;依次类推。

所以管理程序,只需要投递对应数量的容器(3000+),并监控每个容器是否成功执行完毕就行(此处为简

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值