postgresql集群(pgpool)

最新推荐文章于 2024-10-11 10:28:22 发布
最新推荐文章于 2024-10-11 10:28:22 发布
阅读量1.3k 收藏 10
点赞数 5
分类专栏： Linux运维 文章标签： postgresql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41525527/article/details/135774933
版权
本文详细描述了如何在一个环境中部署和配置PostgreSQL主节点、备节点和VIP节点，包括关闭防火墙、自定义安装配置、pgpool设置、密钥管理、数据同步和故障恢复等步骤。
摘要由CSDN通过智能技术生成

1、环境

主机名IP名称端口
master192.168.98.155主节点5432
master192.168.98.155pgpool主节点9999
node1192.168.98.156备节点5432
node1192.168.98.156pgpool备节点9999
witness192.168.98.157VIP节点9999

2、前期准备

2.1、关闭防火墙和seLinux(master)

# 1、关闭防火墙和seLinux
setenforce 0
sed -ri '/^[ \t]*SELINUX=/cSELINUX=disabled' /etc/selinux/config
systemctl stop firewalld     | service firewalld stop
systemctl disable firewalld

2.2、安装配置postgresql14.9

#1、安装
yum install -y postgresql14-server
#自定义安装配置
#自定义目录
#创建数据存放目录
mkdir -p /app/pg/14/data
#指定postgres用户的权限
chown -R postgres:postgres /app/pgsql/14/
# 配置环境变量
vim /etc/profile
# 软件安装目录
export PGHOME=/usr/pgsql-14/
# PG数据目录
export PGDATA=/app/pgsql/14/data/
export PATH=$PGHOME/bin:$PATH
# 更新环境配置
source /etc/profile
​
#修改启动文件的启动目录
sudo vim /usr/lib/systemd/system/postgresql-14.service
#Enviroment=PGDATA=/var/lib/pgsql/14/data/ 
Enviroment=PGDATA=/app/pgsql/14/data/
#重新加载配置文件
systemctl daemon-reload
----------------------------下面部分master配置
#修改配置文件
cd /app/pgsql/14/data
vi postgresql.conf
-
listen_addresses="*"
-
vi pg_hba.conf
-
# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            trust
host    all             all             0.0.0.0/0               md5
# IPv6 local connections:
host    all             all             ::1/128                 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     all             0.0.0.0/0               md5
host    replication     repl            samenet                 trust
​
-

2.3、配置免密登录

# 155~157都需要配置
# 基于root
ssh-keygen -t rsa -f id_rsa_pgpool
ssh-copy-id -i id_rsa_pgpool.pub postgres@master
ssh-copy-id -i id_rsa_pgpool.pub postgres@node1
​
# 基于postgres
passwd postgres
su - postgres
ssh-keygen -t rsa -f id_rsa_pgpool
ssh-copy-id -i id_rsa_pgpool.pub postgres@master
ssh-copy-id -i id_rsa_pgpool.pub postgres@node1
​
​
# 验证
ssh postgres@master -i ~/.ssh/id_rsa_pgpool

3、配置master和node1

3.1、初始化数据库(master)

su - postgres
initdb -D /app/pgsql/14/data/
systemctl restart postgresql-14

3.2、新增数据库角色(master)

su - postgres
psql -h 127.0.0.1 -p 5432 -U postgres postgres
CREATE ROLE repl WITH REPLICATION LOGIN;
CREATE ROLE pgpool WITH LOGIN;
\password postgres;
\password repl;
\password pgpool
GRANT pg_monitor TO pgpool;

3.3、配置密码文件

su - postgres
vim .pgpass
​
# ip:port:repmgr:repmgr:repmgr
#*:*:repmgr:repmgr:123456
192.168.98.156:5432:replication:repl:123456
192.168.98.155:5432:replication:repl:123456
192.168.98.156:5432:postgres:postgres:123456
192.168.98.155:5432:postgres:postgres:123456
192.168.98.157:9999:postgres:pgpool:123456
192.168.98.157:9999:postgres:postgres:123456
chmod 600 .pgpass

3.4、下载pgpool

yum install -y https://www.pgpool.net/yum/rpms/4.3/redhat/rhel-7-x86_64/pgpool-II-release-4.3-1.noarch.rpm
yum install -y pgpool-II-pg14-*

3.5、配置WAL存放地点(master)

su - postgres
mkdir archivedir
vim /app/pgsql/14/data/postgresql.conf
​
listen_addresses = '*'
archive_mode = on
archive_command = 'cp "%p" "/var/lib/pgsql/archivedir/%f"'
max_wal_senders = 10
max_replication_slots = 10
wal_level = replica
hot_standby = on
wal_log_hints = on

3.5、配置pool_hba.conf访问

vim /etc/pgpool-II/pool_hba.conf
​
host    all         pgpool           0.0.0.0/0          md5
host    all         postgres         0.0.0.0/0          md5

3.6、启动pgpool

systemctl start pgpool
systemctl enable pgpool

3.7、配置节点名称

echo 0 > /etc/pgpool-II/pgpool_node_id   # 主服务器为0 备服务器1为1 以此类推

3.8、配置pgpool.conf

# 集群模式 【流复制】
backend_clustering_mode = 'streaming_replication'
# 通讯
listen_addresses = '*'
port = 9999
# 流复制检查
sr_check_user = 'pgpool'
sr_check_password = ''
# 健康检查
health_check_period = 5
health_check_timeout = 30
health_check_user = 'pgpool'
health_check_password = '123456'
health_check_database = 'postgres'
# 设置PCP可以访问
pcp_listen_addresses = '*'
pcp_port = 9898
# 后端设置【配置IP】
backend_hostname0 = '192.168.98.155'
backend_data_directory0 = '/app/pgsql/14/data/'
backend_port0 = 5432
backend_weight0 = 1
backend_flag0 = 'ALLOW_TO_FAILOVER'
backend_application_name0 = "master" #用于显示
backend_hostname1 = '192.168.98.156'
backend_data_directory1 = '/app/pgsql/14/data/'
backend_port1 = 5432
backend_weight1 = 1
backend_flag1 = 'ALLOW_TO_FAILOVER'
backend_application_name1 = "node1" #用于显示
# 故障转移配置【脚本可能需要修改PGHOME】
failover_command = '/etc/pgpool-II/failover.sh %d %h %p %D %m %H %M %P %r %R %N %S'
# follow_primary_command = '/etc/pgpool-II/follow_primary.sh %d %h %p %D %m %H %M %P %r %R'
# follow_primary_command = '/etc/pgpool-II/follow_primary.sh %d %h %p %D %m %H %M %P %r %R' #三个及以上需要配置
# 在线恢复配置【主服务器 创建recovery_1st_stage和pgpool_remote_start，并添加执行权限】
recovery_user = 'postgres'
recovery_password = '123456'
recovery_1st_stage_command = 'recovery_1st_stage'
# 客户端认证配置
enable_pool_hba = on
pool_passwd = '/etc/pgpool-II/pool_passwd'
# 看门狗 VIP 【可能需要配置visudo】【网卡】
use_watchdog = on
delegate_IP = '192.168.98.157'
if_up_cmd = '/usr/bin/sudo /sbin/ip addr add $_IP_$/24 dev ens33 label ens33:0'
if_down_cmd = '/usr/bin/sudo /sbin/ip addr del $_IP_$/24 dev ens33'
arping_cmd = '/usr/bin/sudo /usr/sbin/arping -U $_IP_$ -w 1 -I ens33'
# 看门狗停止事件【脚本内需要配置网卡】
wd_escalation_command = '/etc/pgpool-II/escalation.sh'
# 服务器【配置IP】
hostname0 = '192.168.98.155'
wd_port0 = 9000
pgpool_port0 = 9999
hostname1 = '192.168.98.156'
wd_port1 = 9000
pgpool_port1 = 9999
# 偶数节点需要打开
enable_consensus_with_half_votes = on
# 生命检查
wd_lifecheck_method = 'heartbeat'
wd_interval = 10
heartbeat_hostname0 = '192.168.98.155'
heartbeat_port0 = 9694
heartbeat_device0 = 'ens33'
heartbeat_hostname1 = '192.168.98.156'
heartbeat_port1 = 9694
heartbeat_device1 = 'ens33'
wd_heartbeat_keepalive = 2
wd_heartbeat_deadtime = 30
# 日志
log_destination = 'stderr'
logging_collector = on
log_directory = '/var/log/pgpool_log'
log_filename = 'pgpool-%Y-%m-%d_%H%M%S.log'
log_truncate_on_rotation = on
log_rotation_age = 1d
log_rotation_size = 10MB
#
pid_file_name = '/run/pgpool/pgpool.pid'

3.9、复制需要的配置文件

cp -p /etc/pgpool-II/failover.sh{.sample,}
cp -p /etc/pgpool-II/follow_primary.sh{.sample,}
cp escalation.sh.sample escalation.sh

3.10、配置pcp.conf

echo 'pgpool:'`pg_md5 123456` >> /etc/pgpool-II/pcp.conf
echo 'postgres:'`pg_md5 123456` >> /etc/pgpool-II/pcp.conf
su - postgres
echo 'localhost:9898:pgpool:123456'> ~/.pcppass
chmod 600 .pcppass
​

3.11、故障恢复指令

cp -p /etc/pgpool-II/recovery_1st_stage.sample /home/pgsql/14/data/recovery_1st_stage
cp -p /etc/pgpool-II/pgpool_remote_start.sample /home/pgsql/14/data/pgpool_remote_start
chown -R  postgres:postgres /home/pgsql/14/data/

3.12、使用在线恢复功能，需要 的功能[仅主库执行]

su - postgres
psql template1 -c "CREATE EXTENSION pgpool_recovery"

3.13、为pgpool和postgres生成密码

echo '123456' > .pgpoolkey
chmod 600 .pgpoolkey
pg_enc -m -k .pgpoolkey -u pgpool -p
pg_enc -m -k .pgpoolkey -u postgres -p
cat /etc/pgpool-II/pool_passwd
pgpool:AESKALNNNewCM9MRmlYh5NYqw==
postgres:AESKALNNNewCM9MRmlYh5NYqw==

3.14、配置escalation.sh

vim /etc/pgpool-II/escalation.sh
​
PGPOOLS=(master node1)
VIP=192.168.98.157
DEVICE=eth0

3.15、配置后hosts

192.168.98.155 master
192.168.98.156 node1
192.168.98.157 vip

3.16、配置/etc/sysconfig/pgpool

OPTS=" -D -n"

3.17、启动pgpool

systemctl start pgpool.service
​
systemctl stop pgpool.service
​
systemctl restart pgpool.service

3.18、查看节点信息

psql -h 192.168.98.157 -p 9999 -U pgpool postgres -c "show pool_nodes"

3.19、查看看门狗信息

pcp_watchdog_info -h 192.168.98.157 -p 9898 -U pgpool

3.20、从库初始化，主库恢复

1.从主库恢复数据到从库，从库不要运行，也不需要初始化
pcp_recovery_node -h 192.168.98.157 -p 9898 -U pgpool -n 1
若执行失败，多半是权限问题，可以使用脚本测试一下
./recovery_1st_stage '/app/pgsql/14/data/' '192.168.98.156' '/app/pgsql/14/data/' '5432' 1 '5432' '192.168.98.155'
/app/pgsql/14/data/recovery_1st_stage /app/pgsql/14/data 192.168.98.156 /app/pgsql/14/data/ 5432 1 5432 192.168.98.155
​

3.21、附 添加插槽

su - postgres
psql
#查询指令：
SELECT slot_name, slot_type, active FROM pg_replication_slots;
#添加指令：
SELECT * FROM pg_create_physical_replication_slot('插槽名称');
插槽名称在从库的数据目录下的 myrecovery.conf
primary_slot_name = '192_168_98_156'

3.22、附 主库恢复后，恢复数据到主库

pcp_recovery_node -h 192.168.98.157 -p 9898 -U pgpool -n 0

3.23、附

其实从服务器和主服务器配置差不多，只需要将主服务器的配置文件拷贝过去即可。

可以使用scp来拷贝

scp xxx root@备服务器:/目录

DDad.
关注
专栏目录
PostgreSQL集群方案-Postgres-XL
孙霸天的专栏
06-12 5595
Postgres-XL 主机 系统 hostname 192.168.1.42 centos7 node1 GTM 192.168.1.43 centos7 node2 gtm_proxy、Coordinator 192.168.1.44 centos7 node3 Datanode1 Master 192.168.1.48 centos7 node4 Datanode2 Master datanode和Coordinator都是可以设置Slave(从节点)，这里不设置了；
离线搭建Postgresql+pgpool高可用集群
weixin_45395065的博客
04-29 1136
文章目录参考文档写在前面的话离线搭建PostgreSQL离线安装Pgpool 参考文档 https://www.jianshu.com/p/816141e62830 写在前面的话 由于公司业务需要，需要在内网环境搭建Postgresql+Pgpool高可用集群。 离线搭建最难的就是解决依赖的问题。当然，你可以拿出一台机器做内网的源，放上全部的包，别的机器就可以正常使用yum了（话语不标准不要介意）...
postgresql集群(repmgr)
qq_41525527的博客
01-23 1856
修改150~153的hosts配置文件。为确保当前的 repmgrd 日志文件(指定的文件)不会无限增长。
大数据应用方案1-Postgresql集群
最新发布
bennybi的博客
10-11 1080
加入配置 REPMGR_PRIMARY_HOST=pg-0 （即主服务），则读写都可以了，否则是只读模式, 当通过连接pgpool删减或增加表时，自动同步到pg-0与pg-1。- 停掉pg-1节点， 然后连接pgpool，新增一个t1表，插入一条数据， 重启pg-1节点，观察相应数据库是否有新增t1表及数据完整性，- 两个已安装了docker的Ubuntu22.04虚拟机，其中pg-0为主节点, pg-1为从节点，pgpool为负载均衡节点。
PostgreSQL数据库集群部署
weixin_44228645的博客
07-10 2981
的方式区分多个后端。在进行恢复之前，需要确保当前的主服务器的数据库目录/opt/soft/pg_data中存在recovery_1st_stage和pgpool_remote_start两个脚本。配置很简单，就在三台机器的/etc/pgpool-II/pgpool_node_id文件中分别写入0，1，2就可以。从pgpool-II4.0开始，配置文件中的密码可以设置为空，如果密码参数为空，则pgpool-II将首先尝试从pool_passwd参数指定的文件中获取指定用户的密码，然后再使用空密码。
postgres 数据库搭建集群 （主备模式）
zgl的博客
02-21 4656
修改配置文件（root用户下操作，将其中的 PGDATA 修改为新的数据目录）/usr/lib/systemd/system/postgresql-12.service。/usr/pgsql-12/bin/postgresql-12-setup 配置文件中的数据存储目录修改。修改环境变量中的数据存储目录 vim /var/lib/pgsql/.bash_profile。pool_hba.conf和之前配置的PostgreSQL中的配置时一样的。从节点的配置只需要修改 8 和 10 对于的IP。
PostgreSQL集群
12-03
PostgreSQL集群详解,包括集群的几种方式，图解说明
Postgresql + Pgpool 主从及高可用配置
zwk0213的博客
04-12 6090
软件版本 服务器：CentOS7 PostgresSql：14 PGPool-II：4.3.1 操作注意事项： 1. 注意目录归属及权限，建议相关目录均使用【chown -R postgres:postgres 目录】执行一次，防止权限问题 2.数据库相关部分只需要配置主库，从库在安装完成后，不需要启动及初始化 3. pgpool的配置在各服务器上一致，都需要操作一遍 4. SSH免密登录配置完成请验证 5. 从库初始化及主库恢复需要配置插槽 6. psql...
postgresql+pgpool安装经验
zzzz12358的博客
05-20 1598
postgresql+pgpool 安装经验 1.1数据库编译——postgresql安装 1.1.1 上传postgresql源码 su - root root用户登录 mkdir /opt/soft_bak 新建目录 cd /opt/soft_bak 切换目录 1.1.2 解压缩postgresql源码 wget http://ftp.postgresql.org/pub/source/v9.5.1/postgresql-9.5.1.tar.bz2
使用Pgpool搭建Postgresql集群
u010425095的博客
07-12 1887
操作系统：CentOS7 Postgresql版本：10.10 Pgpool-II版本：4.0.6 端口   9999：对外提供服务   9000：watch_dog   9898：pcp   9694：watch_dog心跳检查 备注：下文的安装步骤中，【】包围的部分需根据自己的环境来配置 背景   项目上有实现数据库高可用的需求，Postgresql本身支持数据同步和手动failover。即，一个双机热备的Postgresql集群，主节点宕机时，整个集群只能对外提供读服务，而无法提供写服务，只有手动执行
优化PostgreSQL集群：pgpool-II提升大师/从属系统性能
PostgreSQL集群.p文件主要介绍了PostgreSQL数据库集群的相关知识，特别是针对pgpool-II这个用于改进master/slave系统性能的工具进行详细探讨。作者Tatsuo Ishii是来自日本SRAOSS公司的专家，该公司专注于提供商业...
postgresql集群
01-19
postgresql PL/proxy
大牛总结PostgreSQL集群部署实战
07-16
PGCluster是一种提供写可靠性，多主节点数据同步，数据传输的开源集群方案，这些PGCluster组件可以分别安装在多台物理机器或者虚拟机上。
postgresql集群方案hot standby 安装和测试
数据库天地
06-30 154
这两天正忙着研究postgresql，基本用法和其他数据库大同小异，先不自己讲解，今天主要想记录下postgresql的集群方案hot standby方式。 转载请注明：http://blog.csdn.net/lengzijian/article/details/7704814 本人设置集群环境： 三台电脑：一台主数据库和两台从数据库 1.安装Postgresql9 ...
08 域控 架构主机 转移_「PostgreSQL架构」PostgreSQL的最佳群集高可用性方案
weixin_42515158的博客
01-03 451
如果您的系统依赖PostgreSQL数据库并且您正在寻找HA的集群解决方案，我们希望提前告知您这是一项复杂的任务，但并非不可能实现。我们将讨论一些解决方案，您可以从中选择对您的容错要求。PostgreSQL本身不支持任何多主群集解决方案，例如MySQL或Oracle。尽管如此，仍有许多商业和社区产品提供此实现，以及其他产品，例如PostgreSQL的复制或负载平衡。首先，让我们回顾一些基本概念：什...
PostgreSQL+pgpool-II复制方案
weixin_33853827的博客
03-05 387
1. Pgpool-II介绍pgpool-II是PostgreSQL服务器之间一种有效的中间件和PostgreSQL数据库客户端。它提供了以下功能。连接池pgpool-II保存到PostgreSQL服务器的连接，当一个相同新连接(如用户名、数据库、协议版本)进来时，重用他们。它减少了连接开销，提高了系统的整体吞吐量。复制pgpool-II可以管理多个PostgreSQL...
最完善的PostgreSQL集群搭建
qq_41525527的博客
05-14 2834
在前几章的文章当中，已经有过了PostgreSQL的集群搭建了，那么为什么要重新再写这篇文章呢？因为前面的Pgpool集群搭建，是直接从Pgpool搭建的，而不是从最开始的PostgreSQL集群开始搭建的，可以导致搭建出来的PostgreSQL集群不可用，或者说备机一直处于宕机状态等等问题，所以才有这篇文章的出现。这篇文章是基于PostgreSQL14.9搭建的，且用的是源码安装方式进行搭建的，里面未涉及到PostgreSQL的自带的插件安装，如果要进行插件的安装，需要进入到源码包里面的。
PostgreSQL高可用集群
weixin_43582048的博客
04-24 4882
笔记在幕布上此链接直接转到 如有疑惑，可以留言。
PostgreSQL(一)PostgreSQL一主二从集群部署
weixin_65635758的博客
10-19 4978
PostgreSQL(一)PostgreSQL一主二从集群部署
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值