亚马逊云科技-K8s部署RDS数据库GenAI

亚马逊云科技-K8s部署RDS数据库GenAI

关键字: [yt, Kubernetes Database Management, Amazon Web Services Controllers Kubernetes, Amazon Rds Integration, Gitops Declarative Management, Open Source Contribution]

本文字数: 1500, 阅读完需: 8 分钟

导读

在这场演讲中,Jonathan Katz 和 Sharagdave 探讨了如何通过 Amazon EKS 控制器直接从 Kubernetes API 管理 Amazon RDS 数据库。他们详细阐释了 Amazon EKS 控制器提供了一种声明式的方式来供应和管理 RDS 数据库,并支持诸如 Amazon Aurora Serverless v2 和 RDS Proxy 等功能。该演讲重点介绍了 Amazon EKS 控制器如何使 Kubernetes 应用程序能够连接到托管的 RDS 数据库,遵循 GitOps 实践,允许数据库随应用程序工作负载扩展,并降低运营开销。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。

在不断发展的云计算和容器化应用程序领域中,托管服务与 Kubernetes 的无缝集成已成为一项重要的追求。作为这一领域的先驱力量,亚马逊云科技(亚马逊云科技)推出了一个开创性的开源项目——亚马逊云科技 Controllers for Kubernetes (ACK)。这一创新解决方案弥合了 Kubernetes 的声明式管理范式与 亚马逊云科技 服务庞大阵容之间的鸿沟,使开发人员能够前所未有地轻松高效地编排其云资源。

在这一努力的核心是 ACK for Amazon Relational Database Service (RDS) 控制器,这是一个强大的工具,使开发人员能够直接从 Kubernetes API 管理其 Amazon RDS 和 Amazon Aurora 数据库。该控制器不仅简化了这些数据库的部署和管理,而且还将它们无缝集成到了 GitOps 方法论中,这是基础设施即代码的最佳实践。正如视频所示,一个示例架构展示了在 Kubernetes 上运行的应用程序连接到 Amazon RDS 数据库和 Amazon ElastiCache 实例,两者都通过各自的 ACK 控制器进行管理。

Kubernetes 是一个用于容器编排的开源项目,常被比作分布式操作系统,使开发人员摆脱了硬件的限制,可以控制工作负载在哪里运行,独立于底层基础设施。Kubernetes 的声明式方法进一步增强了这种灵活性,使开发人员能够定义应用程序的期望状态,而不是指定一步一步的指令。视频通过展示创建一个具有三个实例的 Web 应用程序来说明这一概念,该应用程序以冗余的方式部署在拓扑结构上,确保如果一个节点发生故障,应用程序本身不会受到影响。

虽然Kubernetes提供了自动化数据管理的基本功能,但对于更复杂的应用程序(如数据库),通常需要定制工具来处理特定的生命周期管理技术。这就是operator模式作为一种强大解决方案出现的原因,它使开发人员能够为各种数据存储系统编程独特的生命周期管理技术。以时间点恢复操作为例,开发人员可能希望根据引入的更改回滚到某个时间点,而不同的关系数据库对此操作的处理方式也不尽相同,因此需要在Kubernetes环境中使用定制工具。

然而,直接在Kubernetes上运行数据库可能会带来额外的复杂性,扩大了故障排除的范围。问题可能来自应用程序、数据库、Kubernetes operator、网络、存储或者基础设施本身。这就是ACK大显身手的地方,它在Kubernetes生态系统中提供了托管数据库体验,有效缓解了这些潜在挑战。

ACK是一组直接与亚马逊云科技API交互的Kubernetes控制器,为亚马逊云科技服务提供了声明式管理体验。每个亚马逊云科技服务都有专门的控制器,允许进行定制的用户交互,并通过服务账户IAM角色(IRSA)实现细粒度的访问控制。这种方法确保用户可以限制对特定服务的访问,遵循最小特权原则。

ACK for Amazon RDS控制器支持Amazon RDS和Amazon Aurora提供的所有关系数据库引擎,包括PostgreSQL、MySQL、MariaDB、Oracle和SQL Server,以及Amazon Aurora的MySQL和PostgreSQL兼容版本。该控制器提供了全面的生命周期管理功能,使开发人员能够轻松创建、扩展、管理副本、调整资源和删除实例。

此外,ACK for RDS控制器还支持Amazon Serverless v2、Amazon RDS Proxy等附加功能,以及从快照创建集群的能力,实现了测试数据管理工作流程的无缝集成。这强大的功能组合允许开发人员利用亚马逊云科技的全套功能,同时受益于Kubernetes的声明式管理范式。

在一场现场演示中,直接从Kubernetes API部署和管理Amazon Aurora Serverless v2集群的过程被展现出来。演示首先验证了Kubernetes集群的可访问性,显示集群正在两个工作节点上运行。ACK控制器的安装,包括RDS和ElastiCache控制器,也得到了确认。

控制器就绪后,通过在清单文件中定义所需状态,创建了一个新的Aurora PostgreSQL Serverless v2实例。该清单指定了数据库集群配置,包括Aurora PostgreSQL引擎、版本13以及从机密中检索的用户名和密码。此外,它将数据库实例定义为无服务器实例,最小16个Aurora Capacity Units (ACUs),最大64个ACUs,用于控制缩放行为。视频解释说,使用Amazon Aurora Serverless v2,数据库可以根据工作负载在指定的ACU范围内自动扩展和缩减,提供按需的容量配置。

接下来,演示展现了GitOps的强大功能。清单被提交到Git存储库,触发Flux操作符将所需状态与Kubernetes集群中的实际状态进行协调。这种无缝集成允许开发人员通过熟悉的版本控制工作流来管理数据库资源,确保部署的一致性和可追溯性。

为了展示ACK for RDS控制器的灵活性,演示通过将现有数据库集群的最小ACU值从16调整为8来修改配置。此更改被提交到Git存储库,Flux操作符自动检测并应用了更新,Amazon RDS控制台反映了新的配置。视频强调了根据工作负载需求动态调整资源的能力,例如在需求较低时降低最小容量。

在这个演示中,演讲者建立了一个名为”ackdb01”的全新数据库集群,其中包括一个数据库实例和一个包含必要连接详细信息的ConfigMap。该ConfigMap是通过使用一个名为FieldExport的自定义资源定义来填充的,它使得Kubernetes应用程序能够动态地检索和使用数据库连接信息,从而简化了集成过程。视频强调了向将使用数据库的应用程序提供连接详细信息的重要性。

整个演示过程中,声明式管理的强大功能得到了充分体现。开发人员可以在Git存储库中定义所需的数据库资源状态,而ACK for RDS控制器会无缝地将这些更改与底层的亚马逊云科技服务进行协调。

在演示结束时,演讲者强调了ACK项目的开源性质,鼓励社区贡献和反馈,以塑造路线图并增强控制器的功能。ACK的未来前景令人期待,计划集成新的Amazon RDS API更改,并在可用时支持其他数据库服务。

总之,亚马逊云科技控制器for Kubernetes (ACK)项目,尤其是ACK for Amazon RDS控制器,代表了开发人员管理和集成云资源与容器化应用程序的范式转变。通过弥合Kubernetes和亚马逊云科技服务之间的鸿沟,ACK使开发人员能够利用声明式管理、GitOps工作流程和Amazon RDS丰富的功能集,同时受益于Kubernetes生态系统的可扩展性和灵活性。这种创新解决方案为云资源和容器化工作负载和谐共存铺平了道路,使开发人员能够专注于为客户创造价值,而无需承担复杂的基础设施管理负担。

总结

本次演示围绕着使用Kubernetes和亚马逊云科技Controllers for Kubernetes(ACK)项目来管理Amazon RDS数据库展开。首先介绍了Kubernetes作为一个容器编排平台,以及它声明式地管理应用程序的方式。在Kubernetes上运行数据库需要额外的定制,这就是操作员模式(operator pattern)的用武之地,它能够提供类似于托管服务的体验。

然而,对于直接在Kubernetes上运行的数据库进行故障排查可能会很复杂,涉及多个层面。这就是ACK的用武之地,它能够直接从Kubernetes API管理亚马逊云科技服务,包括Amazon RDS。ACK for RDS控制器支持所有RDS和Aurora数据库引擎,提供完整的生命周期管理能力。

演示部分展示了使用ACK for RDS控制器部署一个Aurora Serverless v2集群,并通过GitOps管道进行管理。它演示了如何将Git仓库中集群配置的更改自动与RDS集群进行协调。

总之,ACK允许直接从Kubernetes声明式地管理亚马逊云科技资源,包括Amazon RDS数据库。这种集成使Kubernetes应用程序能够连接到托管数据库,同时利用GitOps实践和Serverless v2数据库的可扩展性。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。