火箭科学：在亚马逊云科技上处理、存储和分析引擎试验数据

关键字: [Amazon Web Services re:Invent 2023, 亚马逊云科技, Engine Test Data, Rocket Engine Testing, Data Processing And Storage, Time Series Data Analysis, Amazon Web Services Cloud Architecture]

本文字数: 1800, 阅读完需: 9 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Ae411f7YZ

导读

亚马逊云科技支持各种用户构建和测试推进系统。在本论坛中，了解如何使用亚马逊云科技收集、处理、存储和分析发动机热态燃烧测试数据。探索示例架构并遍历各种设计权衡，然后讨论这些方法如何适用于各种其他物理测试用例。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

2022年re:Invent在周一上午拉开帷幕，亚马逊云科技亚洲和太平洋地区解决方案架构负责人Yudhijit Das Gupta向约100名与会者介绍了会议内容。他热情洋溢地欢迎今年亚马逊云科技航空航天和卫星轨道的启动。这一轨道旨在关注太空主题，通过运用实际客户案例和问题来解决当前在使用亚马逊云科技过程中遇到的问题，同时保持其包容性，因为“太空属于每个人”。

这使得他们今天的议题非常具体且相关——如何处理、存储和分析热火发动机测试期间产生的发动机测试数据。热火测试是在测试台上固定火箭发动机并点燃它，而在火箭实际未动的情况下进行。这是在实际发射的昂贵和危险过程之前验证发动机及其组件是否按设计运行的关键步骤。

亚马逊云科技的解决方案架构师Matt Leyden详细解释了火箭及其组件在实际飞行前所经历的物理测试。除了热火测试外，可能还包括压力室测试以验证在高海拔地区的操作，抗热测试以承受极端温度，振动测试以忍受发射力，以及电磁干扰测试以在地球磁场外正常操作。

热火测试是最后的验证环节，即在工程师密切监控下在运行条件下运行发动机。测试台配备了许多传感器，通常有50-100个，以测量诸如温度、流速、振动之类的参数，并以高达100 kHz的高采样率进行更多测量。所有这些原始传感器数据都由专门的数据采集系统捕获。如今，工程师面临一堆数据，每次测试可能有5-10 TB，需要处理并将其转化为有关发动机性能的有意义的信息。

他们希望从原始传感器数据中提取的一些关键指标是推力、推进效率以及燃烧室和喷管中的压力和温度。所有传感器的数据显示需要同步并合并到共同的时间线上以便进行分析。随后，工程师可以将测量的性能与早期计算机模拟的预期结果进行比较。

内特·麦克琼金（Nate McJunkin）这位解决方案架构师详细阐述了这个领域中客户在发动机测试数据方面面临的常见问题和挑战：

1. 更快的数据获取速度——在这个竞争激烈的市场上，能够快速更新设计至关重要。客户希望能够迅速处理测试数据，以便工程师能够尽快做出决策。一位汽车客户的需求是将数据交付给工程师的时间从几周缩短到几天。

2. 可扩展且经济高效的存储方案——生成发动机测试数据成本很高，但长期保留是很重要的。一位客户抱怨因为共享驱动器上的存储限制而不得不删除旧的测试数据。他们希望采用一种低成本、近乎无限的云存储方法。

3. 改进数据管理——许多客户在共享驱动器上难以找到历史测试数据，甚至不知道存在哪些测试数据。他们还需要遵守各种数据保留政策，并确保需求的满足可以得到验证。

4. 从数据中提取更多价值——对测试数据进行高级分析和机器学习可以提供额外的见解，但一些客户尚未弄清楚如何实现这一目标。一个目标是减少处理数据所需的手动工作。

在明确了这些需求之后，演讲者们开始讨论用于发动机测试数据架构的关键设计决策。马特·莱登（Matt Leyden）首先探讨了是否使用时间序列数据库或像Amazon S3这样的对象存储的问题。时间序列数据库如Amazon Timestream提供专门针对时间序列数据的专用接口，具备如数据插值和原生分析函数等功能。

然而，对于这种离散的批量测试数据，冰川（Glacier）等持久性高且成本极低的选择可能更为合适。冰川提供的存储成本低至每GB每月0.00099美元。演讲者建议将对象存储作为起点，如有需要，稍后可以选择加入Timestream之类的时间序列数据库。

Nate McJunkin探讨了实时流处理与批量处理的另一个关键设计选择。他建议先从简单的批量处理入手，避免构建复杂的流处理架构，如排队和并行处理管道。如果需超低延迟访问数据，例如实现端到端的秒级而非分钟级的管道延迟，可以在后续阶段加入流处理。然而，批量处理可能已经足够满足大部分客户的需求。

Matt Leyden推荐了一种基于S3的对象存储的批量处理架构：在每个测试结束后，将所有原始传感器数据打包成一个文件或对象（例如ZIP文件）并上传至S3。对于大型文件，使用多部分上传。通过S3 Glacier Instant Retrieval以低成本快速归档测试数据，提供1-5分钟的检索延迟。设置对象创建通知和EventBridge规则，使得每当新的测试文件抵达S3时能自动触发新的数据处理批次。利用亚马逊云科技的批处理管理计算在Fargate等服务上运行容器化的数据处理工作负载，将原始传感器数据转换成分析结果。在容器内部，将原始数据缩减为仅包含感兴趣的时间段。计算关键指标，如推力和效率。生成并输出摘要CSV文件。将测试元数据（如开始时间和负责工程师）存储在版本控制的独立S3存储桶中。这种校准数据有助于纠正传感器测量错误。

Leyden强调，所有这些在云端进行的优点在于将物理发动机测试与用于处理和分析结果数据的软件和系统分离。他建议在需要时使用亚马逊云科技的CodePipeline来管理数据处理代码，以便进行版本控制、审计和更新。

最后，McJunkin解释了在整个过程中产生的三类数据的存储位置和方式，以达到访问需求与成本的平衡：时间序列数据——以便携式格式（如CSV或Parquet）存储在S3中。这为典型访问模式提供了良好性能，同时也让亚马逊云科技的分析服务（如Athena和Glue）得以整合。测试摘要值——将这些非时间序列指标（如峰值推力）存储在专用的测试目录数据库中。这提高可发现性并支持跨测试分析。

对于时间序列数据的访问，可以构建自定义数据可视化应用程序和界面，或者使用Python等语言的Jupiter笔记本分析环境和使用matplotlib等工具。亚马逊云科技 SageMaker提供了一个用于运行Jupiter笔记本的完全托管环境。

• 对于厚客户端分析，可以使用Amazon AppStream 2.0在不进行大量数据传输的情况下交付桌面工程软件来分析数据。这还可以避免由于数据离开云端而引发的安全问题。

• 对于测试目录分析，可以使用Amazon QuickSight根据测试目录数据库中的数据生成仪表板和报告。QuickSight轻松地与像Aurora这样的关系数据库集成。

• 对于直接数据访问，可以利用SDK、CLI工具、脚本等直接查询S3中的已处理数据，以满足自定义处理需求。

Matt Leyden通过强调如何在整个测试过程中进行全面分析以及在需要时对特定测试进行详细调查，结束了架构演示。关键是拥有一个可以构建的基础设施。他提到所有涵盖的服务都可以在亚马逊云科技中使用，包括在亚马逊云科技 GovCloud区域中，以满足政府用户常见的严格合规要求。

总的来说，演讲者提供了一个全面的示例架构，用于摄入、处理、存储和分析热火火箭发动机测试数据。他们分享了真实的客户使用案例以及围绕数据存储、处理和访问的设计决策。虽然客户会有独特的需求，但这提供了一个很好的起点，展示了亚马逊云科技的可能性。演讲者鼓励与会者提出问题和建议，并在此基础上构建最适合他们特定需求和工作负载的架构。

下面是一些演讲现场的精彩瞬间：

将测试数据输入至亚马逊云科技进行长期的存储、批量处理和分析，此举有助于优化高效的工程工作流程。

据演讲者所述，应从数据消费者的角度反向思考，以确定适合时序数据的存储方案。

亚马逊Timestream是一款专为处理时序数据而设计的高效、完全托管的无服务器时序数据库，具备可扩展的存储能力，包括内存层和磁性存档层。

演讲者指出，在处理时序数据管道方面，批量处理通常比流处理更为简单且易于扩展。

亚马逊云科技可为航空航天和卫星行业提供自动化数据处理及归档功能，以满足审计需求。

总结

这段演讲主要探讨了如何处理、存储和分析火箭发动机热火测试过程中的发动机测试数据。首先，演讲回顾了热火发动机测试的基本背景，即在测试台上点火火箭发动机，并通过传感器收集推力、温度和振动等相关数据。接下来，需要对收集到的数据进行处理和分析，以确保发动机能够按照预期的模拟结果正常运行。

关于在亚马逊云科技中处理这些发动机测试数据的方法，演讲强调了三个方面。首先，可以将原始的时间序列传感器数据打包成对象，并以高效且经济实惠的方式存储在S3中，同时创建对象的事件可以触发自动批量处理任务。接着，将处理后的结果和元数据也存储在S3和一个像Aurora这样的数据库中。

其次，通过使用如Parquet之类的高效数据格式并将数据存储在S3中，可以利用许多其他的亚马逊云科技服务来处理数据，如亚马逊云科技Batch、Glue和Athena。这种方式相较于将存储与处理紧密耦合，提供了更大的灵活性。

最后，可以通过多种途径访问处理过的存储数据，包括Jupiter笔记本、AppStream桌面、QuickSight仪表板以及通过SDK的直接数据访问。这既支持交互式分析，也支持自动化。

总之，这段演讲提供了一种详细的架构，利用无服务器和可扩展的亚马逊云科技服务高效地处理发动机测试数据，使得数据分析变得更加容易。演讲者强调，应从简单的批量处理和对象存储开始，然后根据需要发展到流处理或时间序列数据库。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134791535

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。