re:Invent 2023 | 使用亚马逊云科技 Serverless 和边缘计算，大规模交付 EO 数据

关键字: [Amazon Web Services re:Invent 2023, Skywatch, Earth Observation Data, Satellite Imagery, Amazon Web Services Serverless, Edge Computing, Machine Learning]

本文字数: 2200, 阅读完需: 11 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1fb4y1K73D

导读

了解 SkyWatch 如何在坚固的空间边缘使用亚马逊云科技计算为卫星数据构建高效且可扩展的处理系统，以更快地处理卫星图像，并将构建时间缩短 50%。了解如何在空间边缘使用亚马逊云科技计算，以快速且经济高效地处理大型多波段亚米级分辨率卫星图像产品。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

天空观察与地球观测市场概述

成立于2014年的天空观察是一家创业支持初创公司，致力于让地球观测数据变得更加易获取。正如公司的联合创始人乔尔·卡明所说，该公司源于一个NASA举办的黑客马拉松活动，当时的一个专注于数据应用的获奖项目诞生了天空观察。自那时起，天空观察已发展成为一家获得众多投资者支持的公司，包括空间天使、激进风险投资和Seraphim资本等。

为了更好地了解地球观测领域，卡明介绍了遥感技术是如何捕获图像的，这些图像主要来自卫星，但也包括无人机、气球等其他平台。其主要目标是用仪器监测全球范围内的变化，从而为各种应用提供数据支持。

据市场研究公司Euroconsult数据显示，截至2022年，地球观测数据市场规模约为46亿美元，但预计到了2031年，这一数字将增长至近80亿美元，10年内的增长率高达74%。尽管国防应用一直以来都是这个市场的主导力量，但天空观察更关注商业用途。

地球观测数据在实际应用中的价值

谈到地球观测数据的实际应用，卡明强调了几个例子，展示了如何通过自动化以往的人工流程来降低成本。

例如，在石油和天然气管道监测方面。过去，公司通常会定期派遣直升机飞越管道，寻找任何入侵或威胁，一旦发现可疑情况就会拍照。然而，通过地球观测卫星，可以在整个管道网络自动执行这种监控，检测变化，并在需要时请求高分辨率图像。一位天空观察的客户为此开发了软件产品，将成本降低了75%，远远优于直升机飞行监测。在全球范围内，有超过250万英里的管道需要监测，这为利用卫星数据提供了一个巨大的机会。

在精确农业领域，有一个极具潜力的案例。正如Skywatch的亚历山大·德·索萨所述，卫星捕获的图像不仅包括可见光，还涵盖各种光谱范围。其中关键的光谱之一是近红外，它对健康植被具有高反射性。通过分析农田的近红外反射率，农民可以评估作物健康状况并确定需要有限资源投放的位置，例如肥料。

一家名为Cropsafe的客户已将这种卫星数据整合到一款应用中，使农民能够从他们的手机监测田地状况。全球有超过5.7亿个农场，地球观测数据可以通过优化投入来提高生产力和作物产量。

除了农业和石油天然气领域外，德·索萨指出，高光谱数据还可以用于矿产勘探。Skywatch已经开发出一种先进的神经网络，可以分析图像中的光谱相关性，从而从太空生成某个区域的详细矿物分布图。预计到2027年，全球矿业市场将达到2463亿美元，这为利用地球观测情报优化操作提供了机会。

在灾难应对、建筑施工监测和冲突报道方面，卫星也发挥着重要作用。库明斯解释了如何在2019年飓风多里安摧毁巴哈马之后，Skywatch的影像证明了援助优先级的重要性。前后对比图像有助于响应者识别受到最严重影响的区域以提供援助。

其他灾难如森林火灾也可以从太空中进行监控。仅2018年，美国就发生了超过880万英亩的森林火灾。卫星成像实现了实时追踪蔓延情况。

对于新闻和冲突报道，卫星可以捕捉到地面上的事件，否则这些事件可能不会得到报道。例如，库明斯提到了一个在Twitter上使用前后对比影像来反驳俄罗斯关于乌克兰攻击没有造成任何破坏的说法的业余卫星分析师。这种来自太空的众包监测可以为信息可能被压制的情况提供透明度。

在类似的背景下，随着时间的推移，建筑工程的进度可以通过上述方式进行追踪。库姆斯展示了亚拉巴马州新建德州游骑兵体育场的照片，向记者、爱好者和其他利益相关者展示了如何关注工程进度。据估计，全球建筑市场的价值每年可达10.6万亿美元，这为监测提供了广阔的空间。

各种有影响力的案例表明，地球观测数据在公共和私人领域具有巨大的潜力。

地球观测数据分发的发展

为了提供历史背景，库姆斯概述了地球观测数据过去是如何难以分发和获取的。20世纪70年代，数据存储在打孔卡上，每张卡仅包含一个现代图像的一小部分。20世纪80年代，情况有所改善，但使用9轨磁带仍然相当麻烦。20世纪90年代出现了桌面GIS软件，开启了一些新的应用。然而，直到21世纪初，数字存储和云计算的真正变革才来临。

尽管如此，大多数卫星运营商仍通过FTP下载来传递数据。尽管到2010年已有50多颗地球观测卫星在轨道上运行，但逻辑障碍仍然存在。直到过去5-10年，云基础设施才使得新的架构成为可能。

在亚马逊云科技上采用云原生架构

库姆斯详细解释了Skywatch如何从一开始就充分利用云计算的优势，而不是受到遗留约束的限制。他们的目标是采用微服务方法实现高效扩展和开发，使用CloudFormation等基础设施即代码工具，并利用无服务器计算只在需要时支付资源。

尽管有人警告他们关于“云锁定”的问题，但他们决定完全拥抱亚马逊云科技的专有服务以最大化收益。驱动他们平台的关键技术包括Lambda、Step Functions、Fargate、S3和SageMaker，以及十几种其他亚马逊云科技服务。通过完全投入云原生技术，Skywatch旨在为持续增长的未来做好准备。

无服务器计算的好处

奎因·莫尔斯（Quentin Morse）来自亚马逊云科技，他探讨了这些架构决策如何使Skywatch受益。Morse解释道，无服务器计算如亚马逊云科技的Lambda提供了自动扩展和细粒度计费，使得边际成本可预测。通过跟踪系统内所有处理步骤中的图像，Skywatch可以确定摄入和准备客户数据的确切费用每平方公里。对于70厘米高解析度的卫星图像，这相当于每平方公里仅0.12美元——比传统处理便宜一个数量级。

无服务器函数如Lambda还可以从Skywatch的运营负担中消除，因为亚马逊云科技处理所有底层基础设施和可用性问题。这使Skywatch能够专注于应用程序逻辑和快速迭代，而不是服务器管理。当新的算法准备好时，它们可以在与现有模型一起部署阴影模型以进行评估，然后再进行切换——这是无服务器方法的关键优势。总的来说，无服务器计算的可扩展性、细粒度计费和对服务器管理的放手管理帮助Skywatch在处理地球观测数据方面实现了惊人的低成本。

为了更深入地了解他们的运营情况，卡明和德索扎概述了Skywatch平台上的图像完整生命周期。这一切始于客户通过其系统下订单，将所需的捕获细节传达给卫星运营商。然后操作员将卫星操控到距离地球500-600公里的位置，并在适当时刻打开孔径收集图像数据。在卫星上发生一些预处理之前，原始图像由卫星下行链路并输入到Skywatch。

在这个阶段，还会发生其他处理，比如正射校正以考虑地球的曲率，以及全色-多光谱合并以提高可见分辨率。机器学习算法还分析图像中的云覆盖情况，并生成表示清晰区域的掩码。最后，自定义格式创建符合每个客户需求的输出文件，无论是JPEG、分析产品还是其他格式。在整个工作流中，Skywatch利用无服务器组件如Lambda和Fargate仅在有需求时运行进程。大型图像可以分割成多个片段以进行并行处理。

通过利用亚马逊云科技的服务，如Step Functions，他们可以实现无缝且自动化的数据处理流程，仅需支付实际使用的计算费用。这最终使得经过处理的图像能够及时交付，同时降低了传统处理方式的成本。"

"在太空中利用边缘计算进行扩展"

"尽管无服务器计算已经取得了显著的进步，但Skywatch还在探索太空中的边缘计算，以进一步降低运营成本。据Cumming解释，每天约有70%的地球被云层覆盖。因此，如果卫星能在下行链路之前预先处理图像，以检测和剔除大部分包含多云场景的图片，就能节省大量不必要的工作。"

"为了实现这一目标，Skywatch正在研发一种板载云检测模型，以支持这一应用场景。其他潜在的应用还包括仅裁剪客户所要求的图像部分，而非完整拍摄，以及在无需完整图像的情况下识别船只等物体。"

"为了支持这些边缘计算场景，Skywatch正与一个新的太空边缘计算联盟展开合作，以推广这些技术的应用。他们的TerraStream Edge产品专为卫星运营商提供访问Skywatch的机器学习模型在太空中运行的能力。"

"正如Cumming所言，目标是只下载最实用的数据，从而节省操作员和客户的成本。随着时间的推移，他观察到用户更需要从数据中提取见解，而不是完整的图像。他认为，边缘计算将成为解锁这一未来关键的关键因素。"

"观众参与和投票"

"在整个演讲过程中，主持人通过实时投票问题与观众互动，以保持他们的关注并考验他们的知识。当被问到哪些行业在使用地球观测数据时，观众准确识别出了农业、石油和天然气、天气、采矿和政府作为主要的使用案例。"

"稍后，当被问到每天地球上被云层覆盖的百分比时，观众的回答在20%到80%之间波动。Cumming透露，实际上平均每天70%的地球被云层覆盖，强调了太空中预处理以避免下行链路浪费和处理浪费的巨大潜力。"

"通过让观众参与投票，可以有效地强调演讲的重点内容。"

"Skywatch的创新路线图

在总结中，卡明介绍了Skywatch技术路线图的一些关键方面。首先，他们正在研究采用自然语言处理技术的语义搜索功能。通过将图像传递给Amazon Rekognition并提取标签，他们可以使整个目录基于识别对象而非仅元数据进行搜索。

其次，他们正在拓展机器学习方法在图像增强、缺陷检测等领域中的应用，以提高为客户提供的数据价值。

第三，他们正利用Amazon Lex等服务开发自然语言接口，使用户能够通过简单的语音查询系统而非复杂的API与系统进行交互。

这些创新将在核心基础设施和边缘计算的基础上实现，以持续推动地球观测领域的发展。经过深入思考和全面概述后，卡明总结道，由于云计算成本的降低、变革性的空间边缘智能的发展，以及随着时间的推移，数据见解对客户价值的增长，将超过像素值的意义。

通过让地球观测数据变得更加实惠且易于获取，像Skywatch这样的公司正在推动各行业的创新，包括农业、灾害应对等。这个80亿美元的地球观测市场充满了巨大机遇，而基于云的平台正是实现下一代应用场景的关键。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技支持初创公司的截图记录了一个关键时刻。

地球观测数据的目的是通过收集全球各地的影像来监测每天的变迁。

据预测，地球观测市场将从2022年的46亿美元增长至2031年的近80亿美元，为企业利用这些数据带来了巨大的机遇。

亚马逊云科技专注于将地球观测数据应用于基础设施、能源和自然资源等商业领域，而非国防部门。

通过卫星图像的时间序列分析，可以展示植被的生长情况，使农民能够通过手机实时评估作物状况。

边缘计算的采用有助于降低成本和延迟，从而实现实时洞察。

总结

地球观测数据在各个行业中都有重要的应用价值，但大规模管理这些数据却具有挑战性。Skywatch公司是一家在NASA举办的黑客马拉松活动中创立的初创公司，它汇集了商业卫星图像，使得地球数据变得更加易于使用。他们的平台利用了亚马逊云科技的Lambda和Step Functions等服务器功能，以节省成本且可扩展的方式处理图像。例如，石油和天然气公司可以以每平方公里仅0.12美元的成本监测管道，而昂贵的直升机飞行则不再需要。在农业领域，光谱数据可以显示作物健康状况，从而实现精确施肥。服务器无服务器计算实现了边际成本的可预测性。现在，Skywatch正在将处理能力推向边缘——即在卫星上——以便在下链之前拒绝多云图像。这种“剪辑”服务和在轨机器学习将进一步降低成本。最终，Skywatch旨在通过空间和云中可扩展、高效的系统，为用户提供不仅仅是像素，还有来自地球观测数据的可操作见解。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134813598

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。