【PostgreSQL】主从集群之keepalived实现HA和故障自动转移

已于 2022-04-29 00:56:54 修改
阅读量2.3k 收藏 6
点赞数
分类专栏： PostgreSQL 文章标签： postgresql linux 数据库
于 2022-04-28 22:58:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bendywu/article/details/124428194
版权

前言

书接上回，我们已经有了一套集群环境，（参考文章：CSDN）目前工作正常，但还不能高枕无忧，突然哪一天主库发生故障了，业务系统就会无法使用，我们的电话会被打爆，如何睡个安稳觉呢，那就需要继续增加组件实现高可用（HA）。今天介绍的是keepalived方案。闲话少说，马上进入正题。

环境介绍

我们有如下集群，还没有的可以参考之前的文章动手操作

主机角色OSdb
192.168.0.111主Ubuntu20postgresql14
192.168.0.112备Ubuntu20postgresql14
192.168.0.113备Ubuntu20postgresql14

另外需要keepalived工具，如果还没装的，在集群所有主机上执行下面的命令进行安装 

 apt-get -y install keepalived

一些keepalived的基本操作命令如下

sudo service keepalived [start | stop | reload | restart ] #启停操作
keepalived -v #检查是否安装成功

方案介绍

 虽然本方案使用了一主两备的集群，但是目前现有资料都是针对一主一备的，多备的情况更复杂一点，所以本方案在此基础上简化了一些功能，即实现一主两备集群，但当发生主库故障时，只实现单备的故障转移，另一台备机需要手工切换到新主库。这个方案可以满足对实时性要求不高的读场景，也就是说即使另一台备机没有切换，也能支持正常的查询业务，但数据不再更新，直至手工切换后数据再次同步。

部署步骤

设置自启动【主、备】

sudo vim /etc/rc.local 

 加入以下内容

#!/bin/sh -e
service keepalived start &
 
exit 0

配置keepalived.conf【主、备】

注意ubuntu中通过这种方式安装以后目录是/etc/keepalived,初始是没有keepalived.conf文件的，服务也是没起来的，网上找了一些处理过程，参考如下：

在/etc/keepalived目录下自己创建配置文件

cd /etc/keepalived
vi keepalived.conf

# 初始内容如下，这个是最简易的，具体可阅读官方说明文档

#  Keepalived for Linux简易配置

###主机1
global_defs {
router_id 192.168.0.111
script_user root
enable_script_security
}
vrrp_script chk_http_port {
script "/etc/keepalived/pg_alive.sh"
interval 10
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface enp0s3
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.50
}
track_script {
chk_http_port
}
smtp_alert
notify_master '/etc/keepalived/failover.sh'
notify_fault '/etc/keepalived/fault.sh'
}

###备库【1】配置信息
global_defs {
router_id 192.168.0.112
script_user root
enable_script_security
}
vrrp_script chk_http_port {
script "/etc/keepalived/pg_alive.sh"
interval 10
weight 2
}
vrrp_instance VI_1 {
state BACKUP
interface enp0s3
virtual_router_id 51
priority 90 
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.50
}
track_script {
chk_http_port
}
smtp_alert
notify_master '/etc/keepalived/failover.sh'
notify_fault '/etc/keepalived/fault.sh'
}

###备库【2】配置信息
global_defs {
router_id 192.168.0.113
script_user root
enable_script_security
}
vrrp_script chk_http_port {
script "/etc/keepalived/pg_alive.sh"
interval 10
weight 2
}
vrrp_instance VI_1 {
state BACKUP
interface enp0s3
virtual_router_id 51
priority 80 
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.50
}
track_script {
chk_http_port
}
}

 这里几个参数简单说明如下：
router_id 192.168.223.131//你的ip地址
script "/etc/keepalived/a.sh"  健康检查的脚本，这个要自己写
interval 2 #（检测脚本执行的间隔）
state BACKUP # 主机上为 MASTER；备机上为 BACKUP
interface ens33 #网卡，可以通过ifconfig或ip a查看
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同
priority 90 # 主、备机取不同的优先级，主机值较大，备份机值较小
virtual_ipaddress { 192.168.0.50 // VRRP H 虚拟地址，这里最好用和实体机一个网段的，否则容易出现联不通的情况

smtp_alert # 如果主机状态变成Master|Backup|Fault之后会去执行的通知脚本，脚本要自己写

注意：这里的内容直接复制到linux里可能无法识别某些字符要当心 

编写健康检查脚本 【主、备】

健康检查的脚本这里也给出一段供参考

cd /etc/keepalived
vi pg_alive.sh
# 建好文件还要授权
chmod +x pg_alive.sh

#!/bin/bash
# FILENAME pg_alive.sh
# define DB parameters
PGDATABASE=postgres
PGPORT=5432
PGUSER=postgres
PGHOME=/usr/lib/postgresql/14/bin
LOGFILE=/etc/keepalived/pg_alive.log
PATH=$PATH:$PGHOME
keeplognums=30000

# define sql scripts
SQL_UPDATE_HEART="update sr_delay set sr_date = now() where id =1;"
SQL_ROLE="SELECT pg_is_in_recovery from pg_is_in_recovery();"
SQL_CHK_DBALIVED="SELECT 1;"

# process step
db_role=`echo $SQL_ROLE  | psql -p $PGPORT -d $PGDATABASE -U $PGUSER -At -w`
if [ $db_role == 't' ];then
echo -e `date +"%F %T"` "Attention1:the current database is standby DB!" >> $LOGFILE
exit 0
fi

#备库不检查存活,主库更新状态
echo $SQL_CHK_DBALIVED | psql -p $PGPORT -d $PGDATABASE -U $PGUSER -At -w
if [ $? -eq 0 ] ;then
echo $SQL_UPDATE_HEART | psql -p $PGPORT -d $PGDATABASE -U $PGUSER -At -w
echo -e `date +"%F %T"` "Success: update the master sr_delay successed!" >> $LOGFILE
exit 0
else
echo -e `date +"%F %T"` "Error:Is the server is running?" >> $LOGFILE
echo -e `date +"%F %T"` "Error:Postgresql is tring stop..." >> $LOGFILE
systemctl stop postgresql >> $LOGFILE 2>&1
sleep 5
echo -e `date +"%F %T"` "Error:keepalived is tring stop..." >> $LOGFILE
service keepalived stop >>$LOGFILE 2>&1
exit 1
fi
#日志保留 keeplognums 行
if [ ! -f ${MONITOR_LOG} ] ;then touch ${MONITOR_LOG};fi 
lognums=`cat ${MONITOR_LOG} |wc -l`
catnum=$((${lognums} -${keeplognums}))
if [[ $lognums -gt ${keeplognums} ]] ; then 
sed -i "1,${catnum}d" ${MONITOR_LOG}; 
fi

这是一个很简单的集群健康检查演示脚本，它每隔2秒去检查一下主库的响应，如果正常则更新心跳标记，同时把检查结果输出到日志中

注意：这里的内容直接复制到linux里可能无法识别某些字符要当心 

要让上面这段脚本正常运行，还需要在【主库】中新建一个心跳表，执行下面的脚本

create table sr_delay(id serial ,sr_date timestamp default now(),new_primary_ip varchar(50),standby_num int);
insert into sr_delay(id,sr_date) values(1,now());

字段说明：

sr_date心跳时间，主机健康检查时更新
new_primary_ip 新主库IP,当备库升级为主库时填入，主库健康检查时如果standby_num归0则清空
standby_num 备库数量，不在故障转移阶段（即new_primary_ip为空时）由健康检查时更新,当故障转移时数量自动-1；还在故障转移阶段时（即备库升级为主库后，主库健康检查时获取到的从库数>standby_num）,在健康检查时自动-已有从库数，直至0

 确认日志正常【主 备】

root@host111:/etc/keepalived# tail -f pg_alive.log
2022-04-26 08:53:22 Success: update the master sr_delay successed!
2022-04-26 08:53:24 Success: update the master sr_delay successed!

 所有主库备库上都部署一遍以后，我们就完成了HA的第一步，自动检测和VIP服务。接下来就是重点了，通过自定义脚本结合keepalived实现自动故障转移。

故障后处理(fault.sh)

这是keepalived在健康检查时遇到异常时要执行的脚本

cd //etc/keepalived
vi fault.sh
# 编辑完成后授权
chmod +x fault.sh

内容如下：

#!/bin/bash
# FILENAME fault.sh
LOGFILE=/etc/keepalived/fault.log
PGDATA=/var/lib/postgresql/14/main
echo -e `date +"%F %T"` "Error:Because of the priamry DB happend some unknown problem,So turn off the PostgreSQL Database!" >> $LOGFILE

PGPID="`head -n1 $PGDATA/postmaster.pid`"
if [ $? -ne 0 ];then
echo -e `date +"%F %T"` "Error:$PGDATA/postmaster.pid not found!" >> $LOGFILE
fi
# systemctl stop keepalived
service keepalived stop

kill -9 $PGPID
if [ $? -eq 0 ] ;
then
echo -e `date +"%F %T"` "Error:Because of the priamry DB happend some unknown problem,So turn off the PostgreSQL Database!" >> $LOGFILE
# systemctl stop keepalived
service keepalived stop
exit 1
fi

 需要确认PGDATA是否在正确的目录，安装默认在/var/lib/postgresql/14/main

部署自动故障转移（failover.sh）

创建一个故障转移的脚本

cd //etc/keepalived
vi failover.sh
# 编辑完成后授权
chmod +x failover.sh

内容如下：

#!/bin/bash
# FILENAME failover.sh
# define DB parameters
PGPORT=5432
PGUSER=postgres
PG_OS_USER=postgres
PGDBNAME=postgres
LANG=en_US.UTF-8
PGPATH=/usr/lib/postgresql/14/bin
PGDBPATH=/var/lib/postgresql/14/main
LOGFILE=/etc/keepalived/failover.log
PATH=$PATH:$PGPATH

# 主备数据库同步时延，单位为秒
sr_allowed_delay_time=100
# define SQL scripts
SQL_ROLE="select pg_is_in_recovery from pg_is_in_recovery();"
SQL_DELAY_TIME="select sr_date as delay_time from sr_delay where now()>(sr_date + interval '$sr_allowed_delay_time seconds');"
SWITCH_COMMAND="pg_ctl promote -D $PGDBPATH"
echo -e `date +"%F %T"` "Attention:failover process start ..." >> $LOGFILE
echo su - postgres -c "psql" >> $LOGFILE  2>&1
if [ $? -ne 0 ];then
echo -e `date +"%F %T"` "Attention:The current postgreSQL DB is disconnect!" >> $LOGFILE
exit 1
else
echo -e `date +"%F %T"` "Attention:The current postgreSQL DB is OK!" >> $LOGFILE
fi

# process step
db_role=`echo $SQL_ROLE | psql -At -p $PGPORT -U $PGUSER -d $PGDBNAME -w`
# Switch Rule: only standby node and db delay greater than defined delay-time allowed switch to primary node
if [ $db_role != 't' ];then
echo -e `date +"%F %T"` "Attention:The current postgreSQL DB is master database,cannot switched!" >> $LOGFILE
exit 0
fi
slp_sec=$[$sr_allowed_delay_time+10]
echo "wait $slp_sec sec..." >> $LOGFILE
sleep $slp_sec
db_sr_delaytime=`echo $SQL_DELAY_TIME | psql -p $PGPORT -d $PGDBNAME -U $PGUSER -At -w`
if [ -z "$db_sr_delaytime" ];then
echo -e `date +"%F %T"` "Attention:The current master database is health,the standby DB cannot switched!" >> $LOGFILE
exit 0
fi

if [ -n "$db_sr_delaytime" ];then
echo -e `date +"%F %T"` "Attention:The current database is statndby,ready to switch master database!" >> $LOGFILE
echo -e `date +"%F %T"` "su - $PG_OS_USER -c $SWITCH_COMMAND" >>$LOGFILE
echo "su - $PG_OS_USER -c $SWITCH_COMMAND" >>$LOGFILE
su - $PG_OS_USER -c "$SWITCH_COMMAND" >> $LOGFILE 2>&1
if [ $? -eq 0 ];then
echo -e `date +"%F %T"` "success:The current standby database successed to switched the primary PG database !" >> $LOGFILE
exit 0
else
echo -e `date +"%F %T"` "Error: the standby database failed to switch the primary PG database !,pelease checked it!" >> $LOGFILE
exit 1
fi
fi

 切换流程：

当心跳延迟超过设定上限时，开始启动备库升级；备库升级完成后，更新心跳表的IP字段，将新主库的IP地址写进去。 

上述脚本在当前主机上编辑验证完成后传输到其他节点，在所有节点上执行下面的命令

scp postgres@192.168.0.111:/etc/keepalived/*.sh /etc/keepalived

最后启动keepalived服务

service keepalived start

模拟故障转移

这里主要模拟三种场景

  • 主库停止服务，主服务器还在运行
  • 主服务器丢失 
  • 任意备库丢失（不会发生转移）

主库停止服务

在主库（192.168.111）执行下面的语句，停止postgresql服务

# root

systemctl stop postgresql

观察【主库】日志

022-04-27 07:51:00 Success: update the master sr_delay successed!
2022-04-27 07:51:02 Success: update the master sr_delay successed!
2022-04-27 07:51:04 Success: update the master sr_delay successed!
2022-04-27 07:51:06 Error:Is the server is running?
2022-04-27 07:51:08 Error:Is the server is running?
2022-04-27 07:51:10 Error:Is the server is running?
2022-04-27 07:51:12 Error:Is the server is running?

 可以看到日志出现状态异常。此时备库日志还是正常的，在限定时间内（这里我们设的是100秒）不会发生转移。

在看主库的failover.log

root@host111:/etc/keepalived# tail -f failover.log

2022-04-27 08:28:00 Attention:The current postgreSQL DB is disconnect!

再看主库的fault.log

root@host111:/etc/keepalived# cat fault.log
2022-04-27 08:33:12 Error:Because of the priamry DB happend some unknown problem,So turn off the PostgreSQL Database!

如果在目录里找不到日志就要检查一下脚本里面可能有报错，手工执行一下根据报错信息修正脚本。

功能展望

下一步要实现多备集群中所有备机自动切换到新主库上，初步设想如下：

新增一个集群信息表，用来记录整个集群的主机信息

create table sr_cluster(node_ip varchar(50),role_name varchar(30),status varchar(20));

核心字段介绍：

node_ip：集群中的节点IP 

role_name：节点当前角色，值： master-主库；standby-备库；

status：节点状态，值 online-正常在线；offline-脱离集群

处理流程简介：

1. master自动扫描新节点并注册到集群表，扫描现有节点并更新集群表状态

2.在故障转移过程中，同时把本节点更新为master，原来的master更新为standby

3. standby节点检测master节点，一旦发现master节点离线，则从集群表中寻找新的master,找到后切换到新master

慢工也能出细活
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
keepalived+postgresql 高可用方案
weixin_42101062的博客
01-12 644
本文章介绍的是怎么使用Keepalived配置PostgreSQL高可用集群， 需要读者对这两个软件有一定的了解。本篇博文可能有很多表达不清楚，或者写的不够清楚的地方，如果读者有什么问题咨询可以留言，本作者看到以后将第一时间回复。编写 pg_check.sh pg_master.sh pg_backup.sh pg_fault.sh脚本。1、关闭pg主节点观察主从是否互换，虚拟ip是否自动漂移，启动停掉的主节点观察是否正常。2、关闭pg从节点，观察服务是否正常，然后启动从节点观察是否正常。
repmgr + PostgreSQL高可用集群切换
YIYIYI
04-22 566
repmgr + PostgreSQL高可用集群切换
hadoop 高可用（HA）原理 详细图解
weixin_52918377的博客
05-08 2560
hadoop 高可用（HA）原理 一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示: 图1.Hadoop 1.x架构图 从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用。 Hadoop 2.x的架构与1.x有什么区别呢。我们来看下2.x的架构
VCSA 6.5 HA 配置之五：故障转移测试
weixin_34319640的博客
05-04 501
接着上篇文章配置完成VCSA的高可用后，其是否真的能实现高可用的效果，本篇文章将会一探究竟手动故障切换在vCenter HA配置页面可以看到当前的主动节点、被动节点和见证节点；在例行维护或者其他时候可以手动执行故障切换通过右上方的"启动故障切换" ，在一般情况下不勾选"强制立即启动故障切换" 这样可以让主副节点之间同步数据，点击是人工进行切换。切换的过程需要好几分钟。这个过程...
centos7/redhat7 PostgreSql搭建主从同步+Keepalived高可用 数据库高可用
ylsutpc的博客
10-13 672
centos7/redhat7 PostgreSql搭建主从同步+Keepalived高可用 数据库高可用
WARNING - script ‘/etc/keepalived/nginx_check.sh‘ is not executable for uid:gid 0:0 - disabling.
青梅煮酒
03-27 568
配置nginx高可用时，测试master上的nginx挂掉VIP没有漂移，查看日志时发现有nginx检测脚本的报错。解决办法：修改检测脚本的权限。再次测试后VIP能正常漂移。
postgresql12主从集群安装
10-11
【PostgreSQL 12主从集群安装】 在搭建PostgreSQL 12主从集群时，首先需要理解主从复制的概念。主从复制是数据库高可用性的一种常见解决方案，它允许数据从一个节点（主节点）实时同步到另一个或多个节点（从节点）...
PostgreSQL数据库工程师培训实战教程（主从复制、高可用HA、集群架构）
06-29
分享一套课程，PostgreSQL数据库工程师培训实战教程（主从复制、高可用HA、集群架构）完整版视频教程，欢迎下载学习，希望对大家有帮助。
postgresql集群主备模式负载均衡故障转移恢复
07-26
在本场景中，我们将讨论如何设置一个基于PostgreSQL 9.5的集群环境，利用双机热备实现故障转移和负载均衡，并结合arcsde进行空间数据管理。 首先，**主备复制**是实现高可用性的重要组成部分。PostgreSQL的主备复制...
PostgreSQL-Keepalived-HA:基于 Keepalived 和 PG 流复制实现高可用方案
05-17
Keepalived + PostgreSQL 流复制方式实现高可用 HA一 项目简介HA 是数据库领域一个永恒的议题，同时也是最复杂的方案之一，PostgreSQL 本身并不提供任何高可用方案， 本文通过 Keepalived + PostgreSQL 流复制方式...
基于keepalived故障转移（双机热备）.docx
04-16
自己疫情期间一个字一个字的敲的，基于keepalived的虚拟化故障转移集群的搭建完整过程，没有任何问题，每一步怎么敲都是有详细步骤的，用的是VIP的虚拟化漂移。
PostgreSQL 主从复制高可用集群搭建
06-20
PostgresQL 主从复制高可用集群搭建 目录 集群规划 地址规划 安装说明 软件版本说明 环境准备 编译安装 主库配置 初始化数据库修改配置文件 创建流复制用户 备库操作 备份主机 启动备库 验证复制流的可用性 手动提升...
postgresql12&postgis3安装文档
wallezhou的博客
08-31 1642
1 环境 操作系统: centos7.6 64位 网络环境：可以访问互联网 2 PostgreSQL12.1的安装和配置 2.1 安装 设置保存安装包的目录 cd /usr/local/src 下载资源包 # https://www.postgresql.org/ftp/source/ 这里是官网资源 wget https://ftp.postgresql.org/pub/source/v12.1/postgresql-12.1.tar.gz 安装wget工具：yum -y install wg
PostgreSQL 故障排查
superbeyone
05-11 701
文章目录视图分析问题查询锁（全局）查询锁删除PID 视图分析问题 SELECT * FROM pg_stat_activity WHERE datname='数据库名称' and query like '%表名%' 查询锁（全局） SELECT a.datname, locktype, virtualtransaction, transactionid, nspname, relname, mode, granted, query, a.pid, cast(date_trunc('second',quer
keepalived+haproxy构建高可用负载均衡
weixin_30399155的博客
07-22 87
一、环境介绍 我用的是centos6.7，内核版本为2.6.32-573.el6.x86_64，keepalived版本为keepalived-1.2.22，haproxy版本为haproxy-1.6.4 #yum install libnl* popt* openssl openssl-devel -y 下载并安装ipvsadm-1.26、libn...
postgresql中故障切换，主从切换，从（备）库升主
weixin_73350116的博客
07-31 1051
postgresql主从切换，promote，pg_rewind的使用，
Nginx配置整合：基本概念、命令、反向代理、负载均衡、动静分离、高可用
m0_72864708的博客
07-28 120
Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理server。其特点是占有内存少。并发能力强，其并发能力确实在同类型的网页server中表现较好。
CentOS 7.6下PostgreSQL11.5流复制搭建以及keepalived切换
魂醉的一亩二分地
09-20 1424
架构设计： 服务器A: 192.168.173.145 postgresql primary keepalived primary 服务器B: 192.168.173.122 postgresql standby keepalived slave VIP:192.168.173.188 注意，如果没特殊注明，两台机器均需部署 1. 安装postgresql11.5 配置内核参数和资源限...
Keepalived实现PostgreSQL高可用部署
weixin_44499403的博客
12-29 1070
Keepalived实现PostgreSQL高可用部署
postgresql主从
最新发布
09-13
在 PostgreSQL 主从复制方案中，可以通过以下步骤来设置主从复制。 第一步是启动 PostgreSQL 服务。您可以使用以下命令来启动服务： $ sudo systemctl start postgresql 接下来，您需要在从服务器上编辑 PostgreSQL 的配置文件 postgresql.conf。可以通过修改 standby_mode 参数为 on，并指定主服务器的 IP 地址和端口号来设置从服务器。这样可以告诉从服务器要作为主服务器的备用副本。具体设置如下： - 打开 postgresql.conf 文件，找到 standby_mode 参数，并将其设置为 on。 - 指定主服务器的 IP 地址和端口号，可以使用以下配置项： - primary_conninfo = 'host=<主服务器IP> port=<主服务器端口号>' - primary_slot_name = '<复制槽名称>' - primary_slot_name 可选，用于标识复制槽的名称。 完成以上设置后，保存并关闭配置文件。 最后，为了使配置生效，您需要重启从服务器的 PostgreSQL 服务。可以使用以下命令来进行重启： $ sudo systemctl restart postgresql@12-main.service 以上步骤将会设置 PostgreSQL 主从复制，并启动从服务器作为主服务器的备用副本。 请注意，上述步骤是基于基本的 PostgreSQL 主从复制方案，具体操作可能会根据您的环境和需求有所不同。建议参考 PostgreSQL 官方文档或相关资料进行更详细的配置和设置。 引用： : :

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值