PostgreSQL-Patroni高可用搭建部署

于 2024-08-26 11:07:04 发布
阅读量257 收藏 3
点赞数 6
分类专栏： PostgreSQL 文章标签： postgresql 数据库 linux dba 可用性测试 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h_3369/article/details/141397371
版权

目录

前言

Patroni高可用，算是PGSQL所有高可用插件中，比较牛掰的了，功能强大，支持自动拉起postgresql实例，将主库变为从库，支持经过watchdog防止脑裂，Patroni自身没有一致性协议，需要通过DCS(分布式配置存储)，如etcd、consul、zookeeper等，来提供一致性模型，Patroni再通过api连接etcd集群。向其插入键值对记录Patroni参数、数据库参数、主备信息以及连接信息，平常通过etcd对其它节点做心跳检测，通过从etcd获取数据，存储主备信息来判断各节点的状态对集群进行自动管理。

环境介绍

角色IP服务
Leader172.22.138.220PostgreSQL v14；Patroni
standby1172.22.138.219PostgreSQL v14；Patroni
standby2172.22.138.218PostgreSQL v14； Patroni

环境准备

1.三节点时间同步

root # yum install -y ntpdate
root # ntpdate ntp.aliyun.com

2.安装相关依赖包

root # yum install -y gcc python-devel epel-release
root # yum install -y gcc epel-release
root # yum install -y python-pip python-psycopg2 python-devel

安装PostgreSQL流复制

postgresql流复制的部署，这里不再赘述，需要搭建流复制的可以看我这篇文章：https://blog.csdn.net/h_3369/article/details/141358629?spm=1001.2014.3001.5501

安装etcd集群

1.使用yum命令安装etcd

root # yum install -y etcd

2.编写etcd配置文件

root # vim /etc/etcd/etcd.conf 
#leader
ETCD_NAME="node1"
ETCD_DATA_DIR="/data/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.220:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.220:2379"
ETCD_LISTEN_PEER_URLS="http://172.22.138.220:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.22.138.220:2380"
ETCD_INITIAL_CLUSTER="node1=http://172.22.138.220:2380,node2=http://172.22.138.219:2380,node3=http://172.22.138.218:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#standby1
ETCD_NAME="node2"
ETCD_DATA_DIR="/data/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.219:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.219:2379"
ETCD_LISTEN_PEER_URLS="http://172.22.138.219:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.22.138.219:2380"
ETCD_INITIAL_CLUSTER="node1=http://172.22.138.220:2380,node2=http://172.22.138.219:2380,node3=http://172.22.138.218:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#standby2
ETCD_NAME="node3"
ETCD_DATA_DIR="/data/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.218:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.22.138.218:2379"
ETCD_LISTEN_PEER_URLS="http://172.22.138.218:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.22.138.218:2380"
ETCD_INITIAL_CLUSTER="node1=http://172.22.138.220:2380,node2=http://172.22.138.219:2380,node3=http://172.22.138.218:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

3.启动etcd集群

root # systemctl start etcd

安装Patroni

1.使用python的pip安装patroni和相关模块

root # pip3 install --upgrade pip
root # pip3 install --upgrade setuptools
root # pip3 install psycopg2-binary
root # pip3 install patroni[etcd]

#重点关注psycopg2-binary包三个节点版本号是否一致，不一致Patroni启动会报错
root #  pip3 list|grep psycopg2

2.编辑Patroni的配置文件

root # vim /etc/patroni.yml
# Leader节点
scope: pgsql
namespace: /service/
name: pa-pg-1
restapi:
  listen: 0.0.0.0:8008
  connect_address: 172.22.138.220:8008
etcd:
  host: 172.22.138.220:2379
bootstrap:
  dcs:
    ttl: 30
    loop_wait: 10                                               # 循环更新领导者密钥过程中的休眠时间
    retry_timeout: 10                                   # etcd和PostgreSQL操作重试的超时时间（以秒为单位）
    maximum_lag_on_failover: 1048576    # 如果Master和Replicate之间的字节数延迟大于此值，那么Replicate将不参与新的领导者选举
    master_start_timeout: 300
    synchronous_mode: false                             # 是否打开同步复制模式
    postgresql:                                                 # PostgreSQL的配置，是否使用pg_rewind，是否使用复制插槽，还有PostgreSQL参数等信息
      use_pg_rewind: true
      use_slots: true
      parameters:
        listen_addresses: "0.0.0.0"
        port: 5432
        wal_level: replica
        hot_standby: "on"
        wal_keep_segments: 100
        max_wal_senders: 10
        max_replication_slots: 10
        wal_log_hints: "on"
postgresql:
  listen: 0.0.0.0:5432                                  # 设置postgresql.conf参数listen_addresses和port
  connect_address: 172.22.138.220:5432   # 从其他节点和应用程序访问Postgres的地址和端口
  data_dir: /data/pgsql/data                                 # 集群的数据目录的存放路径
  bin_dir: /data/pgsql/base/bin                    # PostgreSQL二进制文件存放路径
  authentication:                                               # 定义用于复制的用户，超级用户
    replication:
      username: replica
      password: "replica"
    superuser:
      username: postgres
      password: "123456"
  basebackup:
    max-rate: 100M
    checkpoint: fast
tags:
    nofailover: false                                   # 不参与选主
    noloadbalance: false                                # 不参与负载均衡
    clonefrom: false
    nosync: false                                               # 也不作为同步备库

# Standby1节点
scope: pgsql
namespace: /service/
name: pa-pg-1
restapi:
  listen: 0.0.0.0:8008
  connect_address: 172.22.138.219:8008
etcd:
  host: 172.22.138.219:2379
bootstrap:
  dcs:
    ttl: 30
    loop_wait: 10                                               # 循环更新领导者密钥过程中的休眠时间
    retry_timeout: 10                                   # etcd和PostgreSQL操作重试的超时时间（以秒为单位）
    maximum_lag_on_failover: 1048576    # 如果Master和Replicate之间的字节数延迟大于此值，那么Replicate将不参与新的领导者选举
    master_start_timeout: 300
    synchronous_mode: false                             # 是否打开同步复制模式
    postgresql:                                                 # PostgreSQL的配置，是否使用pg_rewind，是否使用复制插槽，还有PostgreSQL参数等信息
      use_pg_rewind: true
      use_slots: true
      parameters:
        listen_addresses: "0.0.0.0"
        port: 5432
        wal_level: replica
        hot_standby: "on"
        wal_keep_segments: 100
        max_wal_senders: 10
        max_replication_slots: 10
        wal_log_hints: "on"
postgresql:
  listen: 0.0.0.0:5432                                  # 设置postgresql.conf参数listen_addresses和port
  connect_address: 172.22.138.219:5432   # 从其他节点和应用程序访问Postgres的地址和端口
  data_dir: /data/pgsql/data                                 # 集群的数据目录的存放路径
  bin_dir: /data/pgsql/base/bin                    # PostgreSQL二进制文件存放路径
  authentication:                                               # 定义用于复制的用户，超级用户
    replication:
      username: replica
      password: "replica"
    superuser:
      username: postgres
      password: "123456"
  basebackup:
    max-rate: 100M
    checkpoint: fast
tags:
    nofailover: false                                   # 不参与选主
    noloadbalance: false                                # 不参与负载均衡
    clonefrom: false
    nosync: false                                               # 也不作为同步备库

# Standby2节点
scope: pgsql
namespace: /service/
name: pa-pg-1
restapi:
  listen: 0.0.0.0:8008
  connect_address: 172.22.138.218:8008
etcd:
  host: 172.22.138.218:2379
bootstrap:
  dcs:
    ttl: 30
    loop_wait: 10                                               # 循环更新领导者密钥过程中的休眠时间
    retry_timeout: 10                                   # etcd和PostgreSQL操作重试的超时时间（以秒为单位）
    maximum_lag_on_failover: 1048576    # 如果Master和Replicate之间的字节数延迟大于此值，那么Replicate将不参与新的领导者选举
    master_start_timeout: 300
    synchronous_mode: false                             # 是否打开同步复制模式
    postgresql:                                                 # PostgreSQL的配置，是否使用pg_rewind，是否使用复制插槽，还有PostgreSQL参数等信息
      use_pg_rewind: true
      use_slots: true
      parameters:
        listen_addresses: "0.0.0.0"
        port: 5432
        wal_level: replica
        hot_standby: "on"
        wal_keep_segments: 100
        max_wal_senders: 10
        max_replication_slots: 10
        wal_log_hints: "on"
postgresql:
  listen: 0.0.0.0:5432                                  # 设置postgresql.conf参数listen_addresses和port
  connect_address: 172.22.138.218:5432   # 从其他节点和应用程序访问Postgres的地址和端口
  data_dir: /data/pgsql/data                                 # 集群的数据目录的存放路径
  bin_dir: /data/pgsql/base/bin                    # PostgreSQL二进制文件存放路径
  authentication:                                               # 定义用于复制的用户，超级用户
    replication:
      username: replica
      password: "replica"
    superuser:
      username: postgres
      password: "123456"
  basebackup:
    max-rate: 100M
    checkpoint: fast
tags:
    nofailover: false                                   # 不参与选主
    noloadbalance: false                                # 不参与负载均衡
    clonefrom: false
    nosync: false                                               # 也不作为同步备库

3.配置Patroni的service启动文件

root # vim /etc/systemd/system/patroni.service 
[Unit]
Description=patroni - a high-availability PostgreSQL
Documentation=https://patroni.readthedocs.io/en/latest/index.html
After=syslog.target network.target etcd.target
Wants=network-online.target
[Service]
Type=simple
User=postgres
Group=postgres
PermissionsStartOnly=true
ExecStart=/usr/local/bin/patroni /etc/patroni.yml
ExecReload=/bin/kill -HUP $MAINPID
LimitNOFILE=65536
KillMode=process
KillSignal=SIGINT
Restart=on-abnormal
RestartSec=30s
TimeoutSec=0
[Install]
WantedBy=multi-user.target

4.授权Patroni的配置文件并启动Patroni，启动顺序必须是：主库>从库1==从库2！

#postgres用户没有sudo权限的话记得配置sudo
root # echo 'postgres        ALL=(ALL)       NOPASSWD: ALL'> /etc/sudoers.d/postgres
root # chown postgres./etc/patroni.yml
root # systemctl start patroni

Patroni日常检查

1.使用Patroni命令查看集群状态

root # patronictl -c /etc/patroni.yml list

2.Patroni日志默认输出到 /var/log/messages

root # less /var/log/messages
Aug 20 12:23:14 DB-test2 systemd: Started patroni - a high-availability PostgreSQL.
Aug 20 12:23:14 DB-test2 systemd-logind: New session 886 of user root.
Aug 20 12:23:14 DB-test2 systemd: Started Session 886 of user root.
Aug 20 12:23:14 DB-test2 systemd-logind: Removed session 886.
Aug 20 12:23:15 DB-test2 patroni: postgresql parameter listen_addresses=0.0.0.0 failed validation, defaulting to None
Aug 20 12:23:15 DB-test2 patroni: postgresql parameter port=5432 failed validation, defaulting to None
Aug 20 12:23:15 DB-test2 patroni: 2024-08-15 12:23:15,225 INFO: No PostgreSQL configuration items changed, nothing to reload.
Aug 20 12:23:15 DB-test2 patroni: localhost:5432 - accepting connections
Aug 15 12:23:15 DB-test2 patroni: 2024-08-15 12:23:15,233 INFO: establishing a new patroni heartbeat connection to postgres
Aug 20 12:23:15 DB-test2 patroni: 2024-08-15 12:23:15,254 INFO: no action. I am (pa-pg-2), a secondary, and following a leader (pa-pg-1)
Aug 20 12:23:16 DB-test2 systemd-logind: New session 887 of user root.
Aug 20 12:23:16 DB-test2 systemd: Started Session 887 of user root.
Aug 20 12:23:16 DB-test2 systemd-logind: Removed session 887.
Aug 20 12:23:16 DB-test2 patroni: 2024-08-15 12:23:16,423 INFO: no action. I am (pa-pg-2), a secondary, and following a leader (pa-pg-1)
侯晓阳丶
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
进阶数据库系列（十七）：PostgreSQL 基于 Patroni 高可用架构部署及故障切换
pgdba的博客
11-08 1745
PostgreSQL 基于 Patroni 高可用架构部署及故障切换。​ 以上就是今天给大家介绍的关于PostgreSQL + Patroni HA部署，自动切换和脑裂防护，HA客户端访问配置以及集群间的级联复制配置等内容。
postgresql-patroni-setup：使用patroni的PostgreSQL游乐场设置
02-06
postgresql-patroni-setup 总览 此回购协议可帮助您快速启动由Patroni使用Consul管理的3节点PostgreSQL集群。 集群中有什么？ 启动集群时，您将获得2个节点（pg01和pg02），每个节点都在运行： PostgreSQL 帕特...
PostgreSQL-repmgr高可用搭建部署
侯晓阳的博客
08-21 1037
PGSQL使用repmgr做高可用切换，repmgr主要是部署简单，管理方便，并且对数据库本身的侵入也是比较小的，下面我们来看看如何使用它。
基于 Patroni 的 PostgreSQL 高可用环境部署
长安 故里
06-11 587
PostgreSQL 是一款功能，性能，可靠性都可以和高端的国外商业数据库相媲美的开源数据库。而且 PostgreSQL 的许可和生态完全开放，不被任何一个单一的公司或国家所操控，保证了使用者没有后顾之忧。国内越来越多的企业开始用 PostgreSQL 代替原来昂贵的国外商业数据库。在部署 PostgreSQL 到生产环境中时，选择适合的高可用方案是一项必不可少的工作。本文介绍基于 Patroni 的 PostgreSQL 高可用的部署方法，供大家参考。
搭建PostgreSQL高可用集群（基于Patroni+Etcd）
mengshicheng1992的博客
03-21 5865
搭建PostgreSQL高可用集群（基于Patroni+Etcd） 此文以PostgreSQL 10版本为例！ 如未指定，下述命令在所有节点执行！ 系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS 节点角色 PGSQL1 pgsql1 2C/4G ens33 128G 192.168.0.11 CentOS7 PostgreSQL、ETCD、Patroni PGSQL2 pgsql2 2C/4G ens33 128G 192.168.0.12 CentOS
Postgresql+etcd+patroni+Python高可用搭建
Wmh的博客
03-17 1258
二、Postgresql+etcd+patroni+Python高可用搭建
基于Patroni+etcd+流复制搭建PostgreSQL高可用——筑梦之路
筑梦之路
05-29 2531
是一个基于zk、etcd、consul等的pg ha模板，可以使用python来创建和定制高可用性解决方案。Patroni使用分布式key-value数据库作为数据存储，主节点故障时进行主节点重新选举。通过PG内置的流复制，支持同步和异步复制。由于数据库信息记录在ETCD中，
基于Patroni的PostgreSQL高可用环境部署
长安 故里
06-06 1666
基于 Patroni 的 PostgreSQL 高可用环境部署
基于Patroni的Citus高可用环境部署
weixin_44917075的博客
06-27 919
Citus是一个非常实用的能够使PostgreSQL具有进行水平扩展能力的插件，或者说是一款以PostgreSQL插件形式部署的基于PostgreSQL的分布式HTAP数据库。本文简单说明Citus的高可用技术方案，并实际演示基于Patroni搭建Citus HA环境的步骤。
推荐文章：使用da-patroni构建高可用的PostgreSQL集群
gitblog_00016的博客
08-06 764
推荐文章：使用da-patroni构建高可用的PostgreSQL集群 da-patroni????Patroni deployment on AWS+OpenEBS+local-storage-nfs项目地址:https://gitcode.com/gh_mirrors/da/da-patroni 1、项目介绍 da-patroni 是一个用于在AWS、OpenEBS和本地存储（NFS）环境中部署P...
PostgreSQL 基于Patroni StandbyCluster搭建跨DC的PG集群高可用方案
07-20
### PostgreSQL 基于Patroni StandbyCluster搭建跨DC的PG集群高可用方案 #### 第一章 简介 随着数据量的增加以及业务的扩展，如何保证数据库服务的高可用性变得越来越重要。在众多解决方案中，利用Patroni搭建基于...
postgresql高可用集群搭建文件
10-28
参考文章：https://blog.csdn.net/zxfmamama/article/details/121008549，在文章基础上增加配置...主要包含failover.sh、follow_master.sh、install_postgresql12.sh、pgpool.conf、postgresql.conf、启动pg脚本等文件
postgresql-42.5.0.jar
06-06
postgresql-42.5.0.jar是Java上的一个驱动程序，用于连接PostgreSQL数据库并与其进行交互。它可以让Java程序员方便地使用PostgreSQL数据库，并提供了许多功能和工具，使程序员可以编写高效、稳定和高性能的应用程序...
postgresql-42.2.5
11-30
postgresql-42.2.5 JBDC驱动,这个驱动可以用于Pycharm连接到PostgreSQL，具体操作方法可以阅读《Pycharm 配置PostgreSQL-利用自带database》网址：...
linux系统，ubuntu安装英伟达NVIDIA4090显卡驱动
最新发布
weixin_43651674的博客
08-22 743
本人系统是使用ubuntu24.04，本来是安装centos7的，但由于核显和显卡版本太高，centos不支持，而且centos7后续也不更新了，所以选择了ubuntuubuntu系统安装。
ubuntu中使用windos的网络共享文件夹
苏凯的博客
08-22 350
在 Ubuntu 上，默认的文件管理器是 Nautilus。你可以通过点击桌面左侧的“文件”图标来打开它，或者在终端中输入。点击它 报错 “从服务器获取共享列表失败”
redis常用操作命令
diffiii
08-21 215
显示服务器时间 , 时间戳(秒), 微秒数。模糊查询以fine为前缀的key值。模糊查询以ha为后缀的key值。删除指定key，多个用空格隔开。当前数据库key的数量。登录redis客户端。退出redis客户端。
【MySQL】表的增删查改
muyuteacher的博客
08-21 882
在数据库管理中，CRUD（Create, Read, Update, Delete）是一组基本的操作，用于管理表中的数据。Create：创建新的记录或表。Read：检索表中的数据。Update：修改表中现有记录的数据。Delete：从表中移除记录。本文将对这四种操作进行详细介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值