postgres12 读写分离

最新推荐文章于 2024-07-02 17:03:01 发布
最新推荐文章于 2024-07-02 17:03:01 发布
阅读量2.7k 收藏 11
点赞数 3
文章标签： postgresql 数据库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40174198/article/details/108712846
版权

文章概览

在这里插入图片描述


docker实现 pgpool+postgres 高可用、读写分离，代码已放到我的github上:
https://github.com/guozizi/pg_cluster.

可以拉下来对照文章自己试试


介绍

pgpool-II

pgpool-II是位于 PostgreSQL 服务器和 PostgreSQL 数据库客户端之间的中间件，也是现在比较成熟的读写分离的中间件

在这里插入图片描述

高可用

pgpool可以管理多台postgres实例，一个主节点带多个从节点进行实时备份，当主节点下线，从节点提供服务，服务不会被中断

读写分离

在主从模式下，写请求只发给主节点，读请求可以发给任何一个节点。在高并发的场景下，由于从服务分担了一部分读请求，可以使系统整体的吞吐量提升

连接池

pgpool连接池自动管理连接对象的创建和释放，可以减少内存开销，提高运行速度。当超过最大连接数，会将连接放入队列，而不是立即返回错误

postgres流复制

实现原理：

1、主库启动walsender进程将WAL数据发送到备库
2、备节点启动一个walreceiver和一个startup进程接受和重放数据

在这里插入图片描述

搭建流程

思路：先搭建postgres主从复制，再加入pgpool进行管理

环境准备

系统：ubuntu 18.04
软件：docker、docker-compose安装

# 容器ip
postgres：172.80.0.2
postgres_standby：172.80.0.3
pgpool：172.80.0.4

postgres主从搭建

主节点（postgres ：172.80.0.2）

Dockerfile 配置

1、更换国内镜像源
2、修改postgres源镜像的docker-entrypoint.sh
3、修改配置postgresql.conf配置文件
4、 加入主节点配置脚本primary.sh


FROM postgres:12.2

# 更换国内镜像源
COPY sources.list /etc/apt/sources.list
RUN apt-get update \
    && apt-get install -y vim

# https://github.com/docker-library/postgres/tree/17c71aef1940ef0d2cc8bdc8bf7fb0a2856c8326/12
# 基于原镜像 docker-entrypoint.sh 做出来需更改权限
COPY docker-entrypoint.sh /usr/local/bin/
RUN chmod 777 /usr/local/bin/docker-entrypoint.sh \
    && chmod 777 /docker-entrypoint.sh

# postgres 配置文件
COPY postgresql.conf /etc/postgresql/postgresql.conf
RUN chown -R postgres:postgres /etc/postgresql/postgresql.conf

# postgres 主节点配置脚本
COPY primary_deploy.sh /primary_deploy.sh
RUN chmod 777 /primary_deploy.sh

ENTRYPOINT ["docker-entrypoint.sh"]

EXPOSE 5432
CMD ["postgres"]

第2步的原因：postgres12.2的源镜像包含docker-entrypoint.sh脚本，导致无法加一些外部命令，dockerfile中ENTRYPOINT和CMD同时存在时CMD为ENTRYPOINT的可选参数，因此修改docker-entrypoint.sh扩展自定义功能


docker-entrypoint.sh

postgres源镜像使用docker-entrypoint.sh脚本初始化数据库
自定义功能：在docker-entrypoint.sh加入一条执行主从相关配置脚本的命令，在postgres服务起来之后在后台运行

在这里插入图片描述
primary_deploy.sh

1、创建同步数据的用户
2、允许从数据库连接到主节点
3、重新加载配置

#!/bin/bash
sleep 10s  # 等服务起来

STANDBY_IP="172.80.0.3"
PGDATA="/var/lib/postgresql/data"

# 判断是否已经为主从复制的状态
OUTPUT="$(psql postgres -tAc "SELECT 1 FROM pg_roles WHERE rolname='replicator'")"
if  [ "${OUTPUT}" != "1" ]; then
  # 创建用户
  psql -U postgres -c "CREATE USER replicator WITH REPLICATION ENCRYPTED PASSWORD 'secret';"
  # 允许从数据库连接到主节点
  echo "host replication replicator $STANDBY_IP/16 md5" >> $PGDATA/pg_hba.conf
  # 重新加载配置
  psql -U postgres -c "select pg_reload_conf()"
fi

从节点（postgres_standby ：172.80.0.3）

Dockerfile 配置

1、更换国内镜像源
2、配置root用户ssh免密（与pgpool容器免密）
3、修改postgres源镜像的docker-entrypoint.sh
4、修改配置postgresql.conf配置文件
5、加入主节点配置脚本primary.sh

FROM postgres:12.2
# 更换国内镜像源
COPY sources.list /etc/apt/sources.list

RUN apt-get update \
    && apt-get install -y vim \
    && apt-get install -y openssh-server
    
# ssh 免密
RUN mkdir /root/.ssh/ \
    &&touch /root/.ssh/authorized_keys
COPY id_rsa  /root/.ssh/id_rsa
COPY id_rsa.pub /root/.ssh/id_rsa.pub
COPY sshd_config /etc/ssh/sshd_config

COPY id_rsa.pub.pgpool  /root/.ssh/authorized_keys
RUN chmod 400 /root/.ssh/authorized_keys

# https://github.com/docker-library/postgres/tree/17c71aef1940ef0d2cc8bdc8bf7fb0a2856c8326/12
# 基于原镜像 docker-entrypoint.sh 做出来需更改权限
COPY docker-entrypoint.sh /usr/local/bin/
RUN chmod 777 /usr/local/bin/docker-entrypoint.sh \
    && chmod 777 /docker-entrypoint.sh
    
# postgres 配置文件
COPY postgresql.conf /etc/postgresql/postgresql.conf
RUN chown -R postgres:postgres /etc/postgresql/postgresql.conf

# postgres 从节点配置脚本
COPY standby_deploy.sh /standby_deploy.sh
RUN chmod 777 /standby_deploy.sh

# 设置root密码为"root"
RUN echo "root:root" | chpasswd

EXPOSE 5432

ENTRYPOINT ["docker-entrypoint.sh"]
CMD ["postgres"]

docker-entrypoint.sh

postgres源镜像使用docker-entrypoint.sh脚本初始化数据库
自定义功能：在docker-entrypoint.sh加入一条执行主从相关配置脚本的命令

在这里插入图片描述
standby_deploy.sh 脚本

1、开启ssh服务
2、连接主库做基础备份

#!/bin/bash
# 使用root用户执行命令
echo "root" | su - root /etc/init.d/ssh start

# 等主服务配置好
sleep 20s

PRIMARY_IP="172.80.0.2"
PGDATA="/var/lib/postgresql/data"

if [ ! "$(ls -A $PGDATA)" ];then
      export PGPASSWORD=secret && pg_basebackup -h $PRIMARY_IP -U replicator -p 5432 -D $PGDATA -Fp -Xs -P -R
fi

pgpool-II搭建

Dockerfile 配置

1、更换国内镜像源
2、配置ssh免密 （与postgres_standby容器免密）
3、修改pgpool源镜像文件pgpool_setup.sh
4、加入failover高可用脚本failover.sh

FROM postdock/pgpool:latest

COPY sources.list /etc/apt/sources.list
RUN apt-get update \
    && apt-get install -y vim \
    && apt-get install -y openssh-server

# postgres用户ssh免密
RUN mkdir -p /home/postgres/.ssh/
COPY id_rsa  /home/postgres/.ssh/id_rsa
COPY id_rsa.pub /home/postgres/.ssh/id_rsa.pub
COPY sshd_config /etc/ssh/sshd_config

RUN chown -R postgres:postgres /home/postgres/.ssh
RUN chmod 600 /home/postgres/.ssh/id_rsa

# 将failover_command设置为evn变量
COPY pgpool_setup.sh /usr/local/bin/pgpool/pgpool_setup.sh

# 配置failover脚本（主节点下线从节点升为主节点）
COPY failover.sh /usr/local/etc/failover.sh
RUN chmod 777 /usr/local/etc/failover.sh

RUN mkdir /run/sshd
CMD /etc/init.d/ssh start && bash /usr/local/bin/pgpool/entrypoint.sh

第3步的原因: pgpool_setup.sh脚本可设置evn参数，并将配置写入到pgpool.conf，传参只需要docker-compose.yml的environment设置就可以

pgpool_setup.sh

自定义加入FAILOVER_COMMAND EVN，并写入pgpool.conf

在这里插入图片描述
docker-compose.yml 的配置

environment ：配置环境变量作用到pgpool.conf
同时也可以看到在pgpool_setup.sh加入的FAILOVER_COMMAND，可以直接在environment配置

在这里插入图片描述
failover.sh

主节点下线，从节点升为主节点继续提供服务

# node 0 is primary, and 1 is standby
new_primary=$1
falling_node=$2
if [ $falling_node = 1 ]; then
        exit
fi
ssh -tt -o StrictHostKeyChecking=no root@$new_primary "psql -U postgres -c \"select pg_promote(true,60)\""

测试

postgrs流复制

docker exec -it postgres /bin/sh -c "psql -U postgres -x -c \"select * from pg_stat_replication\""

可以看到主从流复制搭建成功
在这里插入图片描述

pgpool-II
docker exec -it pgpool bash
export PGPASSWORD=pg_pwd && psql -h localhost -p 5432 -U postgres postgres -c "show pool_nodes"

可以看到pgpool管理的主从服务都已提供服务

在这里插入图片描述

注：环境搭建好之后，客户端连接pgpool发出请求，由pgpool分发到各个节点

pgpool读写分离

连接pgpool 写入和读取一些数据

docker exec -it pgpool bash
export PGPASSWORD=pg_pwd && echo "create table test01(id int primary key, name varchar(20))" | psql -h localhost -p 5432 -U postgres && echo "INSERT INTO test01 (id, name) VALUES (1, 'gzj01')" | psql -h localhost -p 5432 -U postgres && echo "INSERT INTO test01 (id, name) VALUES (2, 'gzj02')" | psql -h localhost -p 5432 -U postgres && echo "SELECT * FROM test01" | psql -h localhost -p 5432 -U postgres && echo "SELECT name FROM test01" | psql -h localhost -p 5432 -U postgres && echo "SELECT * FROM test01 WHERE name='gzj01'" | psql -h localhost -p 5432 -U postgres

在这里插入图片描述
查看主库postgres的日志
可以看到写请求都往主库上发，同时也可以接收查询请求

在这里插入图片描述
查看从库postgres_standby日志
可以看到从库也接收查询请求

在这里插入图片描述

pgpool高可用

试试把主节点postgres下线
可以看到主节点下线，从节点自动升为主机节点提供服务

在这里插入图片描述

总结

在定制镜像时我们会在Dockefile FROM 指定一个基础镜像，可以先去dockerhub看看基础镜像的Dockerfile实现，可以避免后期出现一些奇怪的问题，也可以更灵活的定制自己的镜像。总之，多看官方镜像还是有很多益处


欢迎关注公众号，一起学习交流

在这里插入图片描述

guozizi1718
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Postgres安装主从配置.docx
07-20
在本文中，我们将深入探讨如何在CentOS 7系统上配置Postgres的主从复制，实现读写分离，以提高数据库系统的可用性和性能。 首先，我们来了解一下主从复制的基本概念。在主从复制配置中，一个数据库服务器作为主库...
PostgreSQL基于 Pgpool 实现读写分离-02
maomao_op的博客
01-19 997
Pgpool 是一个高性能的连接池和负载均衡器，用于 PostgreSQL 数据库。Pgpool 可以作为中间层，位于客户端和 PostgreSQL 服务器之间，来管理连接请求并分配给不同的 PostgreSQL 服务器进行处理，以提高整体的系统性能和可用性。连接池：Pgpool在应用程序和数据库之间建立一个连接池，使得多个应用程序可以共享一组数据库连接，避免了重复的连接和断开。负载均衡：Pgpool可以将客户端请求均衡地分配到多个PostgreSQL服务器上，以实现负载均衡和更好的性能。
postgresql 实现读写分离，主从复制
sheng990303的博客
01-18 788
(用户名) (从数据库IP地址)删除data数据目录(安装postgresql的时候自己创建的目录)从库数据已同步成功，这样主从数据同步，读写分离就配置成功了。编辑postgresql.conf配置文件修改以下配置。在从库执行一下insert，提示从库为只读不可执行。编辑pg_hba.conf配置文件添加以下内容。进入pg数据库创建流复制用户。重启postgresql服务。关闭postgresql服务。开启postgresql服务。从库数据已经同步成功。主库正常执行插入操作。
PG数据库读写分离高可用方案
ljy啊虎的博客
11-13 5146
1、读写分离 1、首先准备两台服务器，2个虚拟机做测试，分别是： 1.主库（master） 192.168.138.129 postgresql 11 2.从库（standby）192.168.138.128 postgresql 11 安装步骤参考 https://www.cnblogs.com/chendian0/p/11232307.html （默认已经初始化数据库并配置好远程访问） 2、配置主库 （192.168.138.129） vim postgresql.conf（不清楚文件在哪可以使用 fi
进阶数据库系列（十九）：PostgreSQL 基于 Pgpool 实现读写分离
民工哥的博客
07-17 2478
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了PostgreSQL事务与并发控制、主从复制、高可用方案、基于 Patroni 高可用架构部署及故障切换、基于 repmgr 高可用架构实践等相关的知识点，今天我将详细的为大家介绍 PostgreSQL 基于 pgpool 实现读写分离相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！Pgpool ...
postgresql 读写分离
csdn100551的专栏
08-08 801
postgresql 安装配置读写分离
PostgreSQL13使用流复制Replication功能搭建主从集群实现读写分离
闫玉林的博客
12-04 4337
三台服务器，一主两从。不借助插件或第三方中间件，仅使用PostgreSQL自带的流复制功能。主节点可建库建表、可读写，两个从节点为只读，程序使用时可以通过读写分离减少数据库读写压力。 设置同步复制，为热备份，数据实时同步，对于大多数业务来说，可以认为三个库数据完全相同，当一个库故障时，其他库仍然可提供服务，增加服务可用性。 当主节点故障时，数据无法更新，只能手动将从节点升格为主节点，需要修改服务的数据库连接配置等，服务短暂不可用
Postgres_RDS
02-10
- **读写分离**：创建只读副本以分散读取负载，提高整体性能。 - **自动缩放**：启用自动存储扩展，当存储空间达到预设阈值时自动增加。 - **索引优化**：利用PostgreSQL的索引策略提升查询效率。 - **并行查询**：...
pg12.2+pgpool4.3.2 for Centos7安装包及依赖包
10-24
4. **读写分离**：支持读写分离模式，将读操作分配到从库，减轻主库压力，适用于高并发读取场景。 5. **缓存优化**：提供查询结果缓存功能，对于重复的查询，可以直接返回缓存结果，提升响应速度。 在安装过程中，`...
pg10.7+pgpool4.3.2 for Centos7安装包及依赖包
10-24
4. **读写分离**：pgPool II支持配置读写分离，允许将读请求分配到只读副本，写请求仍然发送到主数据库，优化读密集型应用的性能。 在CentOS 7环境中安装这两个组件时，你需要按照以下步骤操作： 1. **安装依赖**...
pg14.4+pgpool4.3.2 for Centos7安装包及依赖包
10-24
它还支持读写分离、故障切换和自动恢复等功能，对于高并发的Web应用尤其有用。 在CentOS 7上安装这两个包时，需要注意的是确保系统已经安装了所有必要的依赖项，如GCC编译器、开发工具和PostgreSQL的公共开发包。...
Postgresql实现主从复制，读写分离
热门推荐
小米吃辣椒的博客
01-29 2万+
前言 简单记录一下postgresql主从的实现方式之一——基于Standby的异步流复制，这是PostgreSQL9.x版本（2010.9）之后提供的一个很nice的功能，类似的功能在Oracle中是11g之后才提供的active dataguard和SQL Server 2012版本之后才提供的日志传送，此处再次为pg鼓掌，确实是一个很棒的开源数据库。废话不多说，本篇blog就详细记录一下在...
【ShardingSphere-proxy +PostgreSQL实现读写分离（静态策略）】
小怪兽的博客
08-03 2226
在业务对数据库是读多写少，且单台服务器或者单个数据库的性能已经不能满足当前业务对数据库大量读取请求的时候，我们可能需要对数据库做。常见的可以做读写分离的工具有mycat、ShardingSphere等。本文使用ShardingSphere-proxy实现了PostgreSQL的读写分离场景，如果对于PostgreSQL数据库除读写分离外还需要连接池等需求，还可以了解一下PostgreSQL的pgpool-II。...
分布式专场-数据库读写分离、主从同步--postgresql部分
一名普通码农的菜地
09-05 2859
参考 数据库读写分离，主从同步实现方法 PostgreSQL 10.3数据库主从复制 Mycat（实践篇 - 基于PostgreSQL的水平切分、主从复制、读写分离） PostgreSQL高可用集群方案收集/主从切换/一主多从（待实践）...
PostgreSQL 安装与读写分离配置
chongchici0395的博客
10-23 699
版权声明：本文为博主原创文章，未经博主允许不得转载。 前言 本博客的内容主要是对PostgreSQL关系型数据库的安装与读写分离配置进行详细的介绍，并且介绍了安装过程与配置过程中遇到的问题。安装与配置采用的是Centos系统环境，采用rpm手动安装方式（解决y...
《童虎学习笔记》10分钟ShardingSphere搭建PostgreSQL读写分离
tonghu_note的博客
03-20 1694
1
PostgreSQL高可用（二）使用pgpool实现主从切换+读写分离
weixin_45395065的博客
04-17 6077
文章目录1主从流复制2主从切换2.1 下载源码包2.2 解压编译安装2.3 添加环境变量2.4 配置pool_hba.conf2.5 配置pcp.conf和pool_passwd2.6 修改pcp.conf2.7 配置pgpool.conf2.8 failover_stream.sh内容：2.9 pgpool的启动和关闭2.10 查看集群状态3 测试（模拟master宕机）3.1 关闭master...
ubuntu 安装并启用 samba
最新发布
QCZL_CC的博客
07-02 252
环境：ubuntu server 24.04。
postgres 12 驱动jar包
04-30
PostgreSQL是一种综合型数据库管理系统，支持许多高级功能，例如事务处理、完整性约束、多版本并发控制和多种索引方法。而Postgres 12是PostgreSQL最新的版本，它提供了很多新的功能和改进。在使用PostgreSQL时，需要使用相应的驱动程序来连接数据库，而PostgreSQL提供了许多不同的驱动程序供用户选择。其中，PostgreSQL JDBC驱动程序是最常用的一种。 PostgreSQL JDBC驱动程序是一个jar包，它包含了连接到PostgreSQL数据库所需的所有类和方法。为了使用PostgreSQL JDBC驱动程序，首先需要在项目中添加该jar包。通常，可以从PostgreSQL官方网站下载最新版本的PostgreSQL JDBC驱动程序，然后将其添加到项目的classpath中即可使用。 PostgreSQL JDBC驱动程序具有良好的跨平台性和可靠性，可以与几乎所有Java应用程序和框架兼容。在使用PostgreSQL JDBC驱动程序时，需要注意一些配置信息，例如数据库的地址、用户名和密码等。同时，在连接数据库之前，需要确保PostgreSQL服务器已经启动，并且监听了相应的端口。 总之，PostgreSQL JDBC驱动程序是连接到PostgreSQL数据库必不可少的工具，使用方法简单，通过下载并添加相应的jar包，即可使用其提供的各种功能和方法连接到PostgreSQL数据库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值