使用开放数据构建下一代可持续性工作负载

关键字: [Amazon Web Services re:Invent 2023, Planetary Knowledge Base, Open Data, Biodiversity, Knowledge Graph, Digitization, Sustainability]

本文字数: 1500, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Jb4y1L7TG

导读

未来的可持续性数字技术将由数据驱动，但获取可持续性数据集的途径有限且成本高昂，对有抱负的构建者构成了障碍。亚马逊云科技上的开放数据等计划提供免费、公开的数据集，加速可持续发展创新。在本论坛中，了解亚马逊云科技客户如何使用开放数据和亚马逊云科技的广泛计算、 AI /ML 和数据库服务，在云端构建可持续性工作负载。了解 Natural History Museum Planetary Knowledge Base，这是一个任务驱动的型工具，用于了解和解决全球生物多样性变化，该工具是使用 Amazon Glue、Amazon Neptune 和 Amazon Niptune 机器学习的开放数据构建的。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

我们生活在一个前所未有的大数据时代。随着互联网时代的到来，大量数字信息得以解锁，若正确使用，可帮助应对人类面临的诸多紧迫可持续发展挑战。然而，在实现与可持续发展相关数据的易发现、访问和使用方面，仍存在主要障碍。

在亚马逊云科技re:Invent2022的开幕致辞中，亚马逊云科技的Sam Bydlon阐述了如何在如亚马逊云科技这样的云平台上的开放数据民主化如何破除这些障碍，为公共利益释放创新潜力。Bydlon强调，要解决诸如气候变化、污染和生物多样性崩溃等重大可持续发展问题，必须依赖数据——大量的数据。

数据本身可能不是瓶颈所在。事实上，世界各地的研究人员在各个领域已经积累了大量的可持续发展数据集。更大的挑战在于，研究人员努力有效地寻找、获取、共享、分析和构建这些分散的数据集。亚马逊云科技致力于通过提供在云端托管开放可持续发展数据的基础设施以及将数据转化为可操作见解的强大计算能力来克服这些障碍。

如今，亚马逊云科技市场和亚马逊可持续发展数据计划已提供了包括农业、天气、气候和生物多样性等领域的超过450个开放数据集。Bydlon强调，将开放数据置于亚马逊云科技云中消除了进入障碍。研究人员可以省去繁琐的数据获取过程，而将宝贵的时间和资源用于创新。

这是推动整个可持续发展领域取得突破的关键步骤。Bydlon提供了一个使用亚马逊可持续发展数据计划的客户的具体例子——伦敦的自然历史博物馆。Vincent Smith博士，数字数据和情报负责人，一直在积极推动一个雄心勃勃的项目，将机构的丰富生物多样性数据汇集并连接到地球的集成知识库。

他将其视为博物馆核心任务的一部分，即收集证据以保护自然界复杂的生命网络。史密斯详细描述了全球生物多样性危机的严重性。当前的物种灭绝速度据估计比正常水平高出100至1000倍，原因包括生境丧失、过度开发、入侵物种、污染和气候变化等威胁。据预测，今天的孩子在世期间可能失去30-50%的物种。这对人类和我们已知的生活方式产生了严重影响。史密斯发出警告，自然的破坏可能导致每年44万亿美元的经济价值受损，从气候稳定到粮食安全再到人类健康都会受到影响。

然而，仍有希望。史密斯坚信，只要我们政策制定者能够获得正确的科学依据，我们就可以制定更可持续的发展道路。这正是自然历史收藏所体现的价值所在。可以追溯到几个世纪前的标本和在全球范围内收集的标本为我们提供了历史基准。例如，伦敦的自然历史博物馆拥有超过1.5亿件物品，大部分增长发生在过去250年，与工业革命和气候变化的开始相吻合。

这些档案使研究人员能够确定物种范围随时间的变化。将这一实证数据与环境变化相比较可以帮助预测未来趋势。主要限制是大多数资源分散在机构孤岛中。例如，伦敦的自然历史博物馆仅拥有3000万件昆虫标本，且几乎没有数字化。

为了充分发挥其丰富收藏的潜力，博物馆一直在努力整合并连接其生物多样性数据。史密斯报告称，他们现在每年通过传输带、计算机视觉、机器学习和机器人技术数字化35万多个新记录。这已将某些样本的数字化时间从3.5分钟缩短到1.5秒。博物馆正在使用亚马逊科技的服务，如Amazon Rekognition和Amazon Textract来构建计算机视觉工作流程。

这些进步将使博物馆能够参与一项大胆的新计划——Planetary Knowledge Base（行星知识库）。史密斯设想这个开放获取的平台汇集并整合来自全球70多家领先机构的自然科学数据。这些机构已经积累了11亿个实体标本，主要是昆虫。

通过消除制度障碍，该项目有望充分发挥其在建立和监测生物世界方面的集体潜力。这个系统旨在作为一个全球预警系统，用于加速发现，从疾病爆发到物种灭绝事件都有所涉及。自然历史博物馆认为，将其数字化标本数据与其他数据集（如基因序列、科学文献和全球观测记录）联系起来具有巨大价值。

亚马逊云科技正致力于实现这一愿景，提供云计算基础设施和服务。Bydlon再次加入，深入研究构建行星知识库的基础知识图系统。他指出，知识图非常适合将不同数据整合成实体和关系的网络结构。这使得现有和新数据能够随着图形的发展而不断纳入其中。

团队使用了Amazon Neptune，这是一款专为图形数据库服务的存储层。Neptune提供了大量图形数据集所需的高可扩展性、持久性和可用性。它还与Amazon SageMaker集成，以简化对图形数据的机器学习。自然历史博物馆正在使用Neptune的无服务器容量模式来优化开发过程中的成本。

亚马逊云科技Glue被用于将最初的25亿GBIF物种分布数据集转换并加载到Neptune中。博物馆使用亚马逊云科技Glue作业定期自动获取GBIF数据集的更新。在未来，世界各地博物馆标本的新数字化记录将继续作为节点和关系进入知识图。

为了展示系统的功能，Bydlon通过示例查询展示了科学家可以发布哪些查询来检索所有在斐济现场站点收集的历史标本，这些标本由自然历史博物馆记录。这展示了从不同来源可视化和分析互连数据的力量。

接着，他解释了如何使用Neptune ML在数据库上构建图形神经网络机器学习模型。博物馆希望利用图形机器学习来揭示隐藏见解并进行预测，以推动生物多样性科学研究。Neptune ML简化了数据准备、模型训练、评估和部署的过程。

AI助手能够在行星尺度上揭示非直观的见解，并能自动化执行预测任务，例如填补数据空白。它能为诸如预测物种分布或评估气候变化影响下的灭绝风险等应用提供支持。

总的来说，史密斯和拜德龙回顾了开放数据在创建自然界数字映射以及实现可持续发展目标方面所具有的巨大潜力。然而，要实现这一愿景，需要各个行业之间的合作。他们呼吁各组织和个人探索现有的开放数据集，考虑将它们融入自己的工作中，并将数据反馈到共享知识库中。

随着不断发展的趋势，基于开放数据的创新将为社会和地球提供所需的智慧，以使未来几代人能够过上更健康、更繁荣的生活。自然历史博物馆将行星知识库视为全球研究人员获取洞察力并以数量化方式了解地球上生物多样性变化的重要工具。

下面是一些演讲现场的精彩瞬间：

萨姆·拜德隆（Sam Bydlon）来自亚马逊云科技，目前正在与伦敦自然历史博物馆合作，运用先进计算技术改善生活和环境。

一张展示地球上每个物种观测记录的地图展现了开放数据如何助力解决全球生物多样性危机。

亚马逊云科技致力于提供应对处理大量可持续性数据集所需的技术，以应对关键的环境挑战。

领导者们鼓励观众们探究亚马逊可持续发展数据计划的数据集，这些数据集或许能协助解决可持续发展问题或激发新的工作负载。

将这些数据整合在一起为我们提供了对收藏品的深入洞察，揭示出了其中的差距和不一致之处，并强调了需要改进的领域。

领导者们鼓励观众们阅读描述亚马逊可持续发展数据计划开放数据集和工作负载的博客文章。

总结

行星知识库将数字化的自然历史收藏数据与外部开放数据集整合成一个知识图谱，从而揭示了生物多样性的演变。亚马逊云科技服务为构建大规模图数据库提供了云计算基础设施。

通过知识图谱和图形神经网络等机器学习模型，可以填补生物多样性数据的空白并预测未来趋势。Neptune ML使得在图形数据上轻松训练和部署模型变得更加容易。

开放数据推动了可持续发展的工作负载。亚马逊可持续发展数据计划提供了丰富的开放数据集集合，以加速亚马逊云科技上的可持续发展研究。

一段视频向观众发出行动呼吁——利用亚马逊云科技上的开放数据集来探索和创新可持续发展的工作负载。整合开放数据可以帮助企业应对可持续发展的挑战。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134810397

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。