基于Operator方式部署 PostgreSQL Operator 集群

最新推荐文章于 2024-07-10 17:29:20 发布
最新推荐文章于 2024-07-10 17:29:20 发布
阅读量2.8k 收藏 5
点赞数 4
分类专栏： IT相关 文章标签： 云原生 docker kubernetes 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Julycaka/article/details/119395251
版权

目录

1.PostgreSQL集群化部署方案

2.部署方案选择-Crunchy

3.部署 Postgres Operator

3.1 启动pgo-deployer容器

 3.2 安装 PGO Client

4.部署验证

5.创建PostgreSQL单点集群

5.1 创建PostgreSQL集群

5.2 查看该集群的状态

​5.3 创建一个带有监控的PostgreSQL集群

6.连接集群

6.1连接到PostgreSQL集群---通过 pgsql client 连接

6.2 连接到PostgreSQL集群---通过pgAdmin 4连接

​7.搭建高可用 PostgreSQL 集群

7.1 搭建 PostgreSQL 集群

7.2 故障转移策略

8.故障恢复

8.1 创建备份

8.2 故障恢复

9.删除集群

10.同步复制

将 PostgreSQL 和 Kubernetes 结合使用的第一步是安装一个 Operator

1.PostgreSQL集群化部署方案

  • 裸机部署

  • 容器部署

  • Kubernetes集群部署（自动伸缩集群）目前在Kubernetes上部署PostgreSQL集群的方案有Stolon、Crunchy、Patroni。

2.部署方案选择-Crunchy

功能相当完备并且集成了PostgreSQL周边生态相关的应用。该Operator实现了在Kubernetes上自动化部署PostgreSQL集群，简化了PostgreSQL服务的部署，并通过Kubernetes平台保持PostgreSQL集群的运行状态，轻松创建、扩展和删除PostgreSQL集群，同时完全自定义Pod和PostgreSQL配置。支持高可用，灾难恢复，TLS，监控，用户管理，克隆集群，可定制等。

PostgreSQL Operator在指定的namespace中以Deployment对象运行，并且最多由四个容器的Pod组成。

3.部署 Postgres Operator

3.1 启动pgo-deployer容器

下载配置文件，更新镜像地址为当前的harbor地址。

下载路径：https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/postgres-operator.yml

[root@k8s-dev-m1 postgreSQL]# kubectl create namespace pgo
[root@k8s-dev-m1 postgreSQL]# kubectl apply -f postgres-operator.yml

 3.2 安装 PGO Client

下载PGO Client 设置脚本： https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/client-setup.sh

修改脚本内容，因为是离线下载，将配置文件的二进制包下载到本地，https://github.com/CrunchyData/postgres-operator/releases/download/v4.7.0/pgo

修改sh文件:

PGO_OPERATOR_NAMESPACE="${PGO_OPERATOR_NAMESPACE:-pgo}"
PGO_USER_ADMIN="${PGO_USER_ADMIN:-pgouser-admin}"
PGO_CLIENT_VERSION="${PGO_CLIENT_VERSION:-v4.7.0}"
#将二进制包放到本地路径
PGO_CLIENT_URL="~/postgreSQL"

PGO_CMD="${PGO_CMD-kubectl}"
......

echo "Operating System found is ${UNAME_RESULT}..."
echo "Downloading ${BIN_NAME} version: ${PGO_CLIENT_VERSION}..."
#将下载路径改为本地路径
#curl -Lo "${OUTPUT_DIR}/pgo" "${PGO_CLIENT_URL}/${BIN_NAME}"
mv "${PGO_CLIENT_URL}/${BIN_NAME}" "${OUTPUT_DIR}/pgo"  

chmod +x "${OUTPUT_DIR}/pgo"
[root@k8s-dev-m1 postgreSQL]# chmod +x client-setup.sh

Postgres Operator 安装完成后，运行客户端安装脚本:

修改环境变量:

[root@k8s-dev-m1 postgreSQL]#  cat <<EOF >> ~/.bashrc
export PGOUSER=/root/.pgo/pgo/pgouser
export PGO_CA_CERT=/root/.pgo/pgo/client.crt
export PGO_CLIENT_CERT=/root/.pgo/pgo/client.crt
export PGO_CLIENT_KEY=/root/.pgo/pgo/client.key
export PGO_APISERVER_URL='https://127.0.0.1:8082'
export PGO_NAMESPACE=pgo
EOF
[root@k8s-dev-m1 postgreSQL]#  source ~/.bashrc

4.部署验证

默认情况下，PGO安装到名为PGO的namespace中。查看PGO的Kubernetes部署是否存在并且运行正常

[root@k8s-dev-m1 postgreSQL]#  kubectl -n pgo get deployments

[root@k8s-dev-m1 postgreSQL]#  kubectl -n pgo get pods

设置端口转发,使用kubectl端口转发方式访问集群中的应用:

[root@k8s-dev-m1 postgreSQL]#  kubectl -n pgo port-forward svc/postgres-operator 8082:8443

5.创建PostgreSQL单点集群

5.1 创建PostgreSQL集群

创建一个名名为mycluster的PostgreSQL集群:

[root@k8s-dev-m1 postgreSQL]# pgo create cluster -n pgo mycluster --password=password123

5.2 查看该集群的状态

使用pgo test命令查看该集群的状态,使用pgo show cluster -n pgo mycluster 查看详细信息。

[root@k8s-dev-m1 postgreSQL]# pgo test -n pgo mycluster

5.3 创建一个带有监控的PostgreSQL集群

[root@k8s-dev-m1 postgreSQL]#  pgo create cluster hippo --metrics

6.连接集群

一旦创建了PostgreSQL集群，可以使用pgo show user命令获取集群用户的凭据。

[root@k8s-dev-m1 postgreSQL]# pgo show user mycluster

获取一个系统或特定帐户信息:

[root@k8s-dev-m1 postgreSQL]# pgo show user mycluster --show-system-accounts

6.1连接到PostgreSQL集群---通过 pgsql client 连接

需要安装psql client。

[root@k8s-dev-m1 postgreSQL]# kubectl -n pgo port-forward svc/mycluster 5432:5432
[root@k8s-dev-m1 postgreSQL]# PGPASSWORD=datalake psql -h localhost -p 5432 -U testuser mycluster

6.2 连接到PostgreSQL集群---通过pgAdmin 4连接

pgAdmin 4是一个图形化工具，可以从web浏览器中管理和查询PostgreSQL数据库。PostgreSQL Operator 与pgAdmin 4提供了一个方便的集成，用于管理用户如何登录数据库。

[root@k8s-dev-m1 postgreSQL]# pgo create pgadmin -n pgo mycluster

查看svc列表：

 使用以下命令连接到数据库，用datalake替换您的实际密码：

[root@k8s-dev-m1 postgreSQL]# kubectl -n pgo port-forward --adress 0.0.0.0 svc/mycluster-pgadmin 5050:5050

浏览器打开http://localhost:5050，并使用数据库用户名（testuser）和密码登录。如果登录有问题，请尝试运行命令pgo update user -n pgo mycluster——username=testuser——password=密码。

7.搭建高可用 PostgreSQL 集群

高可用性在PostgreSQL操作符中默认是启用的，要创建一个具有3个副本的高可用性PostgreSQL集群，可以运行以下命令。也可以使用pgo scale和pgo scaledown命令放大或缩小PostgreSQL集群。

7.1 搭建 PostgreSQL 集群

[root@k8s-dev-m1 postgreSQL]#  pgo create cluster mycluster --replica-count=3

 查看集群实例：

[root@k8s-dev-m1 postgreSQL]#  pgo scaledown mycluster --query

 

扩展PostgreSQL集群 ：

[root@k8s-dev-m1 postgreSQL]#  pgo scale mycluster

缩小PostgreSQL集群 ：

[root@k8s-dev-m1 postgreSQL]#  pgo scaledown hippo --target=mycluster-zwjr

7.2 故障转移策略

每个PostgreSQL集群将管理自己的可用性。如果需要手动进行故障转移，则需要使用pgo故障转移命令。

  • PostgreSQL Operator为故障转移选择最佳副本候选

[root@k8s-dev-m1 postgreSQL]#  pgo failover mycluster

  • 自定义副本候选进行故障转移。

[root@k8s-dev-m1 postgreSQL]#  pgo failover mycluster --target==mycluster-zwjr

8.故障恢复

PostgreSQL Operator使用开源的pgBackRest备份和恢复工具来管理备份和PostgreSQL。当创建一个新的PostgreSQL集群时，会同时创建一个pgBackRest存储库。

  • Full:备份整个数据库。

  • Differential:创建自上次执行完整备份以来的所有数据的备份。

  • Incremental:备份自上次执行完整备份以来的所有数据，无论是完全备份、差异备份还是增量备份。

8.1 创建备份

#默认创建一个增量式pgBackRest备份，当集群初始配置时，PostgreSQL操作符首先创建一个pgBackRest完全备份，而pgBackRest将对后续的每个备份进行增量备份，直到指定了不同的备份类型。
[root@k8s-dev-m1 postgreSQL]#  pgo backup mycluster

#创建全备份
[root@k8s-dev-m1 postgreSQL]#  pgo backup mycluster --backup-opts="--type=full"

#创建差异备份
[root@k8s-dev-m1 postgreSQL]#  pgo backup mycluster --backup-opts="--type=diff"

#创建增量备份
[root@k8s-dev-m1 postgreSQL]#  pgo backup mycluster --backup-opts="--type=incr"

#查看PGBackRest存储库中的所有可用备份
[root@k8s-dev-m1 postgreSQL]# pgo show backup mycluster

8.2 故障恢复

PostgreSQL操作符支持在PostgreSQL集群上执行完整恢复(即克隆或复制)以及时间点恢复的能力。有两种恢复集群的方法。

  • pgo create cluster命令中的 --Restore -from标志恢复到新集群。实际是一个克隆或复制。

  • 使用pgo直接还原。

只要有一个可用的pgBackRest存储库，就可以恢复到一个新的集群技术:pgBackRest存储库不需要附加到一个活动集群。

# 删除名为 mycluster 的集群
[root@k8s-dev-m1 postgreSQL]#  pgo delete cluster mycluster --keep-backupss 

# 从备份中创建一个新的集群
[root@k8s-dev-m1 postgreSQL]#  pgo create cluster datalake --restore-from=mycluster

现有数据目录上执行恢复。 这是使用pgo restore命令完成的。 最常见的方案是将数据库恢复到特定时间点。

#将集群恢复到2021年7月21日晚上11:59
[root@k8s-dev-m1 postgreSQL]# pgo restore hippo --pitr-target="2021-07-21 11:59:59.999999+00" --backup-opts="--type=time"

9.删除集群

删除指定集群：

[root@k8s-dev-m1 postgreSQL]#  pgo delete cluster hippo

10.同步复制

进入 PostgreSQL 主实例创建一个表，并插入数据。

[root@k8s-dev-m1 postgreSQL]# kubectl get po  -n pgo -lcrunchy-pgha-scope=mycluster

[root@k8s-dev-m1 postgreSQL]#  kubectl -n pgo exec -it hippo-749d494c4c-52cf6 -- psql
Julycaka
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
postgres-operator：Kubernetes的生产PostgreSQL，从高可用性Postgres集群到全面的数据库即服务
02-04
松散数据PostgreSQL运算符 在Kubernetes上运行自己的生产级PostgreSQL即服务！ 通过提供保持PostgreSQL集群正常运行所需的基本功能，自动并简化了在Kubernetes和其他启用Kubernetes的平台上的开源PostgreSQL集群的部署和管理，包括： PostgreSQL集群 ，同时完全自定义Pod和PostgreSQL配置！ 支持的安全，自动故障转移。 使用来弹性； 您可以配置这种攻击性如何！ 失败的主数据库会自动恢复，从而缩短恢复时间。 支持在内或跨工作的 。 备份和还原利用开源实用程序，并。 设置要保留备份的时间。 非常适合大型数据库！ TLS
postgres-operator：Postgres运算符创建和管理在Kubernetes中运行的PostgreSQL集群
02-04
Postgres运算子 Postgres Operator在由支持的Kubernetes（K8s）上提供了易于运行的高可用性集群。 仅通过Postgres清单（CRD）对其进行配置，以简化与自动CI / CD管道的集成，而无需直接访问Kubernetes API，从而促进了基础结构的代码化与手动操作。 操作员功能 滚动更新Postgres集群更改，包括次要版本快速更新 无需重新启动Pod即可调整实时卷大小（AWS EBS，PVC） 具有PGBouncer的数据库连接池 还原和克隆Postgres集群（包括主要版本升级） 此外，可以配置到S3存储桶的逻辑备份 S3 WAL存档中的备用群集
PostgreSQL数据库集群部署
最新发布
weixin_44228645的博客
07-10 1993
的方式区分多个后端。在进行恢复之前，需要确保当前的主服务器的数据库目录/opt/soft/pg_data中存在recovery_1st_stage和pgpool_remote_start两个脚本。配置很简单，就在三台机器的/etc/pgpool-II/pgpool_node_id文件中分别写入0，1，2就可以。从pgpool-II4.0开始，配置文件中的密码可以设置为空，如果密码参数为空，则pgpool-II将首先尝试从pool_passwd参数指定的文件中获取指定用户的密码，然后再使用空密码。
基础设施即代码(IAC)，Zalando Postgres Operator 简介
o__cc的博客
04-11 710
Postgres Operator 在由 Patroni 提供支持的 Kubernetes (K8s) 上提供易于运行的高可用性 PostgreSQL 集群。它仅通过 Postgres 清单 (CRD) 进行配置，以轻松集成到自动化 CI/CD 管道中，而无需直接访问 Kubernetes API，从而促进基础设施即代码(infrastructure as code)而不是手动操作。 Pat...
5 个 PostgreSQL Kubernetes Operator 选择
技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路
03-21 1236
PostgreSQL (Postgres) 是一个健壮的有状态、对象关系和开源数据库，以其可靠性、高性能和可扩展性而闻名。数据库管理系统提供的功能包括外键约束、高可用性、复杂查询、SQL 多版本并发控制 (MVCC) 和可更新视图。这些特性使 PostgreSQL 适合为 Kubernetes (K8s) 应用程序提供弹性和高可用性的数据服务。 但是，要将 PostgreSQL 数据库组件实施到 Kubernetes 环境中，您需要一个自动配置、修改和监控 PostgreSQL 集群的操作员。操作员监控 P
postgres-operator 原理解析- 章节 I
oneslide
11-18 830
kubernetes云原生化postgresql 高可用方案patroni 原理解析
Centos7部署PostgreSQL 12集群（主备）
sunny05296的博客
10-27 7963
Centos7部署PostgreSQL 12集群（主备） 关于备份模式 常规的备份模式有三种：热备、冷备和双活。 热备：仅主节点承担用户的业务、提供数据库服务，在不关闭数据库服务（不停服）的情况下对主节点进行备份。 为了保证数据库服务的正常不间断运行，一般用两台机器作为数据库服务机器。其中一台用于实际数据库操作应用、提供数据库服务，而另外一台则实时从前者中获取数据以保持数据的一致性。 如果当前的主节点故障宕机，当前的备节点机器立马（人为手动触发或由配置自动触发）取代当前的主节点机器继续提...
gitea-operator:运营商将Gitea部署在OpenShift集群上
05-28
操作员将创建一个具有持久性存储的PostgreSQL数据库，以及一个具有与PostgreSQL数据库连接的持久性存储的Gitea服务器。 它是在Red Hat （特别是顶部实现的。 建立运营商 有一个脚本build.sh ，它将从下载必备的...
matriarch：一个CLI实用程序和一个Kubernetes操作员，用于部署高可用性和可伸缩的PostgreSQL集群
02-13
介绍 Matriarch是一个CLI实用程序和Kubernetes操作员，用于部署高可用性和可伸缩的PostgreSQL集群PostgreSQL徽标大象被命名为“ Slonik”。 在大象群是由历史最悠久，被称为女家长最大的女牛领导。 这是我们项目名称...
PostgreSQL patroni HA on kubernetes
11-17
Postgres-Operator是另一个类似的工具，用于自动化PostgreSQL集群的管理。 8. **DevOps实践** - 在Zalando，他们遵循严格的DevOps原则，所有生产部署必须通过CI/CD流程，并且只有通过开放的事故票或同事批准（四眼...
PostgreSQL(一)PostgreSQL一主二从集群部署
weixin_65635758的博客
10-19 4866
PostgreSQL(一)PostgreSQL一主二从集群部署
postgres-operator:PostgreSQLKubernetes运算符
05-06
Kubernetes的外部PostgreSQL服务器操作员 特征 从CR创建数据库 使用CR创建具有随机用户名和密码的角色 如果数据库存在，它将仅创建一个角色 多个用户角色可以拥有一个数据库 在与CR相同的名称空间中使用postgres_uri创建Kubernetes秘密 支持适用于PostgresSQL的AWS RDS和Azure数据库 特定于云的配置 AWS 为了使该操作员能够正确使用AWS RDS，您需要在ext-postgres-operator kubernetes密钥中或直接在部署清单（ operator.yaml ）中将POSTGRES_CLOUD_PROVIDER设置为AWS 。 PostgreSQLAzure数据库 为了使该操作员能够正确使用Azure托管PostgreSQL数据库，需要为操作员提供两个env变量： POSTGRES_CLOUD_PROVIDER设置为
大牛总结PostgreSQL集群部署实战
07-16
PGCluster是一种提供写可靠性，多主节点数据同步，数据传输的开源集群方案，这些PGCluster组件可以分别安装在多台物理机器或者虚拟机上。
PostgreSQL教程：主备集群搭建（基于异步流复制）
学亮编程手记
09-17 483
PostgreSQL自身只支持简单的主从，没有主从自动切换，仿照类似Nginx的效果一样，采用keepalived的形式，在主节点宕机后，通过脚本的执行完成主从切换。
云原生 PostgreSQL 集群 - PGO:来自 Crunchy Data 的 Postgres Operator
o__cc的博客
02-23 862
使用 PGO 在 Kubernetes 上运行 Cloud Native PostgreSQL：来自 Crunchy Data 的 Postgres Operator！ Cloud Native PostgreSQL https://www.crunchydata.com/products/crunchy-postgresql-for-kubernetes/ Crunchy Data ...
推荐项目：Postgres-Operator - Kubernetes 上的 PostgreSQL 管理利器
gitblog_00080的博客
03-22 588
推荐项目：Postgres-Operator - Kubernetes 上的 PostgreSQL 管理利器 postgres-operatorProduction PostgreSQL for Kubernetes, from high availability Postgres clusters to full-scale database-as-a-service.项目地址:https:/...
生产级实践之集群搭建方案系列-PostgreSQL主从部署搭建与配置
Mirson - 多一些分享, 多一些进步
04-26 7817
1. 目标 掌握Postgresql数据库主从部署搭建配置 2. 脉络 部署规划 PostgreSQL单节点安装 PostgreSQL主从部署配置 主从同步验证 3. 知行 3.1 简介 PostgreSQL是一个比较高性能的数据库， 结合PostGIS插件， 使PostgreSQL成为了一个空间数据库，能够进行空间数据管理、数量测量与几何拓扑分析。PostgreSQL从9.3开始支持J...
repmgr构建PostgreSQL高可用集群
YIYIYI
04-22 2174
repmgr构建PostgreSQL高可用集群
最完善的PostgreSQL集群搭建
qq_41525527的博客
05-14 2180
在前几章的文章当中，已经有过了PostgreSQL的集群搭建了，那么为什么要重新再写这篇文章呢？因为前面的Pgpool集群搭建，是直接从Pgpool搭建的，而不是从最开始的PostgreSQL集群开始搭建的，可以导致搭建出来的PostgreSQL集群不可用，或者说备机一直处于宕机状态等等问题，所以才有这篇文章的出现。这篇文章是基于PostgreSQL14.9搭建的，且用的是源码安装方式进行搭建的，里面未涉及到PostgreSQL的自带的插件安装，如果要进行插件的安装，需要进入到源码包里面的。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值