Kubernetes和数据库operator推动数据革命

这是充满挑战的日子。系统需要处理的数据量呈指数增长。数据的日益复杂进一步加剧了这一挑战。没有上下文的信息是无用的，上下文是通过不同数据点之间的关系建立的，但每个关系也需要逻辑和处理资源。因此，对数据存储和检索系统及其管理复杂性的需求增加，使得手动数据库管理实践越来越不可行。

幸运的是，这不是工程师们第一次面对这样的问题。人们知道：适当而成功的自动化可以激发生产力的新水平，促进经济增长。

作为车床的Kubernetes

一个成功的自动化例子来自2010年代初。当时，我们面临着一个类似的问题，但与软件架构有关：互联网改变了用户应用程序的工作方式。我们最初的方法源于应用客户机/服务器时代著名的集中式架构，但没有奏效。大型、集中化的应用程序后端无法提供每秒数千到数百万个请求所需的灵活性。

这个问题的解决方案来自于采用一种方法，即组织将这些单体分割成在docker容器上运行的更小的“微”服务，这些服务可以彼此独立地进行水平扩展，并且比单体更快。然而，随着每一种微服务都增加了对开发操作的需求，如果没有像Kubernetes这样的容器编排框架，这种策略就不会如此成功。Kubernetes于2014年公开推出，之前在谷歌内部被称为Borg，它很快证明是自动化部署工作流的首选，如今是现代开发操作的行业标准之一。

此外，作为一个开源的云原生组件，Kubernetes将继续发展和改进。与自动化软件安装包的理念相呼应，Kubernetes不仅抽象出特定的基础设施实现，还自动化了环境创建和部署过程。大多数使用Kubernetes的组织都相信它可以运行至少50%的总工作量。

自治operator

今天，我们发现自己处于数据革命的早期，期望通过自动化数据平台的管理功能来满足数据处理的需求。

说到使用数据和数据库，自动化管理操作可以推动任何依赖数据洞察和决策的组织的发展：通过重复性实现稳定性和灵活性。人工操作员虽然擅长解决问题和创新，但在日常任务中却不太擅长，很快就会出错。操作任务，如放大和缩小、备份、修补和日常数据库维护就是此类活动的例子。

要解决的问题是采用这些人工操作人员的最佳实践，并以标准化的方式高效地将其自动化。

十年前，为数据库创建一个自动化管理系统需要很多努力，因为它必须从头开始构建。这自然导致了托管数据库即服务（DBaaS）解决方案的出现。AWS是第一家在2012年推出DynamoDB后创建此类服务的大公司。在它取得成功后，其他大公司也纷纷进入新市场。然而，使用通用DBaaS也有其问题（例如，供应商锁定、特定版本的使用要求、专门工作负载的最小定制等）。

Kubernetes演变成自动化的瑞士军刀，通过提供一个强大而稳定的软件管理框架，改变了这一切。这一发展过程中一个特别重要的里程碑是对有状态集和持久卷的支持，因为数据库是有状态应用程序的典型例子。

利用控制理论的元素，operator充当Kubernetes扩展/插件，并使用自定义资源定义（CRD）来定义和控制服务的状态。使用声明式CRD构建数据库环境相当简单：你键入的内容实际上就是你得到的内容。operator读取系统所需状态的CRD，不仅为你创建CRD，还使用内部事件监控环境，确保系统始终接近所需状态。没有更复杂的设置脚本——你的整个数据库系统是标准化的，用声明性语言（YAML）描述，并且是自解释的。

Couchbase Autonomy Operator是最早将此框架广泛用于数据库自动化的产品之一。近年来，许多其他为Kubernetes建立的社区数据库operator也变得很受欢迎。围绕这项技术也出现了几个社区，如DoK（Data on Kubernetes）社区。

新地平线

DevOps、DBaaS、Kubernetes和operator的崛起为分布式应用程序创造了一个引人注目的端到端平台。开发人员不必担心他们的代码是如何部署的，或者不同组件之间是如何通信的。相反，开发人员可以专注于控制其演变的数据和逻辑，为业务提供更好的洞察和决策能力。最后，相同的一致性工具/框架可用于管理应用程序堆栈的所有层，包括任务关键型数据库层。自动化将组织的重要资源从常规劳动密集型任务中解放出来，为创新和进一步进步创造了空间和时间。

在更广泛的行业内，未来是光明的。云提供商正在转向完全托管的服务，以提供一种新的商业模式。由于这些数据库创新大多是开源的，一些云提供商在这些开源技术周围添加了一个包装器，并将其作为DBaaS提供。不幸的是，这一策略并不是对每个人都是好消息。它极大地影响了其他数据库供应商的收入，迫使他们更改许可。虽然不同供应商的具体方法有所不同——有些选择业务源许可（BSL），有些选择服务器端公共许可（SSPL）——但最终目标是相同的。

原文链接：

https://thenewstack.io/how-kubernetes-and-database-operators-drive-the-data-revolution/