StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群...

最新推荐文章于 2024-10-10 17:21:30 发布

为为少

最新推荐文章于 2024-10-10 17:21:30 发布

阅读量1.2k

点赞数 18

文章标签：数据库分布式 postgresql

本文链接：https://blog.csdn.net/o__cc/article/details/134944917

版权

本文介绍了如何使用StackGres和Citus创建生产级高可用的分布式PostgreSQL分片集群。内容涵盖Sharded Cluster的概念、实现方式，以及详细步骤，包括配置Citus Sharded Cluster、自定义K8S pods、Postgres参数、pgBouncer、数据备份和分布式日志。此外，还讨论了配置SQL启动脚本和监控设置。

摘要由CSDN通过智能技术生成

系列

什么是 Sharded Cluster(分片集群)

Sharded Cluster(分片集群)是实现数据库分片的集群。数据库分片是跨多台机器存储大型数据库的过程。这是通过在多个 Postgres 主实例之间分隔表行来实现的。这种方法提供了将数据库扩展到多个实例的能力，既有利于读取和写入吞吐量，也有利于在不同实例之间分离数据以实现安全性和/或满足法规或合规性要求。

Sharded Cluster 是如何实现的

一个分片集群是通过构造一个称为协调器的 SGCluster 和一个或多个称为 shards(分片) 的 SGCluster 来实现的。顾名思义，协调器协调实际存储数据的 shards(分片) 。StackGres 负责按照 SGShardedCluster 中设置的规范创建相关的 SGCluster。

SGShardedCluster 可以定义分片的类型(即所使用的内部分片实现)和要分片的数据库。

目前只有一个实现可用，这是通过使用 Citus 扩展提供的。

创建一个基本的 Citus Sharded Cluster

创建 SGShardedCluster 资源：

cat << EOF | kubectl apply -f -
apiVersion: stackgres.io/v1alpha1
kind: SGShardedCluster
metadata:
  name: cluster
spec:
  type: citus
  database: mydatabase
  postgres:
    version: '15'
  coordinator:
    instances: 2
    pods:
      persistentVolume:
        size: '10Gi'
  shards:
    clusters: 4
    instancesPerCluster: 2
    pods:
      persistentVolume:
        size: '10Gi'
EOF

此配置将创建一个包含 2 个 pod 的 coordinator(协调器)和4 个 shards(分片)，每个分片包含 2 个 pod。

所有 Pod 就绪后，您可以通过发出以下命令来查看新创建的分片集群的拓扑：

kubectl exec -n my-cluster cluster-coord-0 -c patroni -- patronictl list
+ Citus cluster: cluster --+------------------+--------------+---------+----+-----------+
| Group | Member           | Host             | Role         | Stat