Docker 配置 PostgreSQL13 的主从环境

最新推荐文章于 2024-02-01 18:36:19 发布
最新推荐文章于 2024-02-01 18:36:19 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： Linux 文章标签： docker postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43580193/article/details/120548005
版权

Docker 配置 PostgreSQL13 的主从环境

前言

PostgreSQL 数据库支持多种复制解决方案，以构建高可用性，可伸缩，容错的应用程序，其中之一是预写日志（WAL）传送。该解决方案允许使用基于文件的日志传送或流复制，或者在可能的情况下，将两种方法结合使用来实现备用服务器。

默认情况下，流复制是异步的，其中在将事务提交到主服务器后将数据写入备用服务器。这意味着在主服务器中提交事务与更改在备用服务器中变得可见之间存在很小的延迟。这种方法的一个缺点是，如果主服务器崩溃，则可能无法复制任何未提交的事务，这可能导致数据丢失。

本次实验将要在 Docker 上安装 PostgreSQL13 并配置主从环境。为了简化演示环境，这里只用一台服务器来演示，通过不同端口来区分。

安装配置

1. 创建测试网络

创建一个 docker bridge 网络用于测试：

# 1. 创建测试网络
docker network create --subnet=172.18.0.0/24 dockernetwork

# 2. 查看网络
docker network ls

NETWORK ID     NAME            DRIVER    SCOPE
8c8a87e2c6e0   bridge          bridge    local
a8e4916d92c2   dockernetwork   bridge    local
92951335914e   host            host      local
2e991e7fd5a3   none            null      local

规划主从库IP端口如下：

主库：172.18.0.101:5432

从库：172.18.0.102:5433

2. 拉取 postgres13 镜像

docker pull postgres

3. 创建数据目录

mkdir -p /data/psql/master
mkdir -p /data/psql/slave
mkdir -p /data/psql/repl
chown 999:999 /data/psql/master
chown 999:999 /data/psql/slave
chown 999:999 /data/psql/repl

4. 运行 master 容器

docker run -d \
--network dockernetwork --ip 172.18.0.101 -p 5432:5432 \
--name master -h master \
-e "POSTGRES_DB=postgres" \
-e "POSTGRES_USER=postgres" \
-e "POSTGRES_PASSWORD=postgres" \
-v /data/psql/master:/var/lib/postgresql/data \
postgres

查看容器：

docker ps -a -f network=dockernetwork --format "table {{.Names}}\t{{.Image}}\t{{.RunningFor}}\t{{.Status}}\t{{.Networks}}\t{{.Ports}}"

NAMES     IMAGE      CREATED          STATUS          NETWORKS        PORTS
master    postgres   48 seconds ago   Up 46 seconds   dockernetwork   0.0.0.0:5432->5432/tcp, :::5432->5432/tcp

5. 创建主从流复制专用账号

# 1. 进入容器
docker exec -it master bash

# 2. 连接PostgreSQL
psql -U postgres

# 3. 创建用户规则
CREATE ROLE repuser WITH LOGIN REPLICATION CONNECTION LIMIT 5 PASSWORD '123456';
# 用户名 repuser；最大链接数：5；密码：123456

# 4. 查看规则
\du

                                   List of roles
 Role name |                         Attributes                         | Member of
-----------+------------------------------------------------------------+-----------
 postgres  | Superuser, Create role, Create DB, Replication, Bypass RLS | {}
 repuser   | Replication                                               +| {}
           | 5 connections                                              |

6. 修改 master 配置文件

# 1. 进入 master 文件夹
cd /data/psql/master

# 2. 在末尾增加规则
echo "host replication repuser 172.18.0.102/24 md5" >> pg_hba.conf

修改 postgresql.conf 配置文件，找到以下几行，取消注释修改配置：

archive_mode = on				# 开启归档模式
archive_command = '/bin/date'	# 设置归档行为
# 从机连接到主机的并发连接数之总和
max_wal_senders = 10			
# 指定在后备服务器需要为流复制获取日志段文件的情况下, pg_wal目录下所能保留的过去日志文件段的最小尺寸	
wal_keep_size = 16		
# 指定一个支持同步复制的后备服务器的列表
synchronous_standby_names = '*'

更多参数详解可参考：19.6. 复制 (postgres.cn)

7. 重启 master 容器

#使用 pg_ctl stop 安全停止数据库
docker exec -it -u postgres master pg_ctl stop
docker start master

8. 创建 slave 容器

docker run -d \
--network dockernetwork --ip 172.18.0.102 -p 5433:5432 \
--name slave -h slave \
-e "POSTGRES_DB=postgres" \
-e "POSTGRES_USER=postgres" \
-e "POSTGRES_PASSWORD=postgres" \
-v /data/psql/slave:/var/lib/postgresql/data \
-v /data/psql/repl:/var/lib/postgresql/repl \
postgres

# 查看容器
docker ps -a -f network=dockernetwork --format "table {{.Names}}\t{{.Image}}\t{{.RunningFor}}\t{{.Status}}\t{{.Networks}}\t{{.Ports}}"

NAMES     IMAGE      CREATED          STATUS          NETWORKS        PORTS
slave     postgres   18 seconds ago   Up 15 seconds   dockernetwork   0.0.0.0:5433->5432/tcp, :::5433->5432/tcp
master    postgres   2 hours ago      Up 2 hours      dockernetwork   0.0.0.0:5432->5432/tcp, :::5432->5432/tcp

9. 同步数据

# 1. 进入容器
docker exec -it -u postgres slave /bin/bash

# 2. 备份主机数据到 repl 文件夹，此处输入在上面设置的密码：123456
pg_basebackup -R -D /var/lib/postgresql/repl -Fp -Xs -v -P -h 172.18.0.101 -p 5432 -U repuser

pg_basebackup: initiating base backup, waiting for checkpoint to complete
pg_basebackup: checkpoint completed
pg_basebackup: write-ahead log start point: 0/2000028 on timeline 1
pg_basebackup: starting background WAL receiver
pg_basebackup: created temporary replication slot "pg_basebackup_154"
24264/24264 kB (100%), 1/1 tablespace
pg_basebackup: write-ahead log end point: 0/2000138
pg_basebackup: waiting for background process to finish streaming ...
pg_basebackup: syncing data to disk ...
pg_basebackup: renaming backup_manifest.tmp to backup_manifest
pg_basebackup: base backup completed

# 3. 备份完成退出容器
exit

10. 重建 slave 容器

通过上一步的初始备份，现在可以使用 /data/psql/repl 里的数据重建 slave容器了。首先删除slave目录，然后将 repl 目录改为 slave，这个目录就是从库的数据目录了：

# 1. 删除容器
docker rm -f slave
# 2. 删除原有文件夹，将 repl 重命名为 slave
cd /data/psql/
rm -rf slave
mv repl slave
cd /data/psql/slave
# 3. 查看配置信息
# postgresql.auto.conf 将含有复制所需信息
cat postgresql.auto.conf

primary_conninfo = 'user=repuser password=123456 channel_binding=prefer host=172.18.0.101 port=5432 sslmode=prefer sslcompression=0 ssl_min_protocol_version=TLSv1.2 gssencmode=prefer krbsrvname=postgres target_session_attrs=any'

重建 slave 容器：

docker run -d \
--network dockernetwork --ip 172.18.0.102 -p 5433:5432 \
--name slave -h slave \
-e "POSTGRES_DB=postgres" \
-e "POSTGRES_USER=postgres" \
-e "POSTGRES_PASSWORD=postgres" \
-v /data/psql/slave:/var/lib/postgresql/data \
postgres

# 查看容器
docker ps -a -f network=dockernetwork --format "table {{.Names}}\t{{.Image}}\t{{.RunningFor}}\t{{.Status}}\t{{.Networks}}\t{{.Ports}}"

NAMES     IMAGE      CREATED          STATUS          NETWORKS        PORTS
slave     postgres   23 seconds ago   Up 21 seconds   dockernetwork   0.0.0.0:5433->5432/tcp, :::5433->5432/tcp
master    postgres   2 hours ago      Up 2 hours      dockernetwork   0.0.0.0:5432->5432/tcp, :::5432->5432/tcp

11. 查看主从复制信息

ps -aux | grep postgres

主库进程：
postgres: walsender repuser 172.18.0.1(52678) streaming 0/3000148
从库进程：
postgres: walreceiver streaming 0/3000148

验证主从配置

主机生成数据

# 进入 master 容器，切换到postgres用户
docker exec -it master bash
psql -U postgres

-- 查询复制信息
select * from pg_stat_replication;

pid | usesysid | usename | application_name | client_addr | client_hostname...
170	16384	repuser	walreceiver	172.18.0.1		52678	2021-09-29 05:57:30.471391+00...

-- 创建测试数据库
CREATE DATABASE test;
-- 查看所有数据库
\list

                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges
-----------+----------+----------+------------+------------+-----------------------
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 test      | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
(4 rows)

-- 切换数据库
\c test
-- 创建测试表
CREATE TABLE test (
  "id" int4 NOT NULL,
  "value" varchar(255),
  PRIMARY KEY ("id")
);
-- 查看创建的表
\dt

        List of relations
 Schema | Name | Type  |  Owner
--------+------+-------+----------
 public | test | table | postgres
(1 row)

-- 向表中插入十条数据
insert into test select generate_series(1,10),md5(random());

-- 查看所有数据
select * from test;

 id |              value
----+----------------------------------
  1 | cfcd208495d565ef66e7dff9f98764da
  2 | cfcd208495d565ef66e7dff9f98764da
  3 | cfcd208495d565ef66e7dff9f98764da
  4 | cfcd208495d565ef66e7dff9f98764da
  5 | cfcd208495d565ef66e7dff9f98764da
  6 | cfcd208495d565ef66e7dff9f98764da
  7 | cfcd208495d565ef66e7dff9f98764da
  8 | cfcd208495d565ef66e7dff9f98764da
  9 | cfcd208495d565ef66e7dff9f98764da
 10 | cfcd208495d565ef66e7dff9f98764da
(10 rows)

从机查看数据

# 进入从机容器
docker exec -it slave bash
psql -U postgres

-- 查看数据库
\d

                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges
-----------+----------+----------+------------+------------+-----------------------
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 test      | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
(4 rows)

-- 查看表
\c test

        List of relations
 Schema | Name | Type  |  Owner
--------+------+-------+----------
 public | test | table | postgres
(1 row)

-- 查看所有数据
select * from test;

 id |              value
----+----------------------------------
  1 | cfcd208495d565ef66e7dff9f98764da
  2 | cfcd208495d565ef66e7dff9f98764da
  3 | cfcd208495d565ef66e7dff9f98764da
  4 | cfcd208495d565ef66e7dff9f98764da
  5 | cfcd208495d565ef66e7dff9f98764da
  6 | cfcd208495d565ef66e7dff9f98764da
  7 | cfcd208495d565ef66e7dff9f98764da
  8 | cfcd208495d565ef66e7dff9f98764da
  9 | cfcd208495d565ef66e7dff9f98764da
 10 | cfcd208495d565ef66e7dff9f98764da
(10 rows)

可以发现主从数据一直，代表我们主从配置成功！

执笔苦行僧
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker下redis的主从配置教程详解
09-09
主要介绍了Docker下redis的主从配置，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Postgresql主从配置
LaughingBi的博客
03-22 880
PostgreSQL主从配置。
【Linux】PostgreSQL 主从模式部署（源码编译方式）
最新发布
行者Sun1989的博客
02-01 570
非容器化部署PostgreSQL主从模式（1主1从）
postgresql13主从流复制
小卒过河
12-14 3941
虚拟ip，10.12 ,10.13两台服务器均已安装postgresql13，本文章主要讲如何进行配置 1、修改配置文件：/var/lib/pgsql/13/data/postgresql.conf listen_addresses= '*' wal_level = replica archive_mode = on archive_command = 'cp %p /data/postgresql/archive/%f' max_wal_senders= 10 wal_keep_size = 10.
docker安装postgresql
热门推荐
qq_35744706的博客
04-12 2万+
1.查询postgresql镜像 docker search postgres NAME --镜像名称 DESCRIPTION --镜像描述 STARS --标星数 OFFICIAL --官方的 AUTOMATED -- 自动化 圈红的地方为postgres官方镜像文件！ 2.拉去镜像文件 docker pull postgres:14.2 我这里拉去的是官方14...
postgresql11 主从配置详解
王威振的博客
11-25 2138
postgresql11 主从配置详解
docker下安装postgres 13
dcr_yll的博客
06-21 1510
docker下安装postgres 13
Docker + PostgreSQL 主从环境搭建
happyJared
06-27 5240
环境说明 Docker Ubuntu/CentOS PostgreSQL v10.1 1. 运行PostgreSQL 1.1 主库 docker run --name pgsmaster -p 5500:5432 -e POSTGRES_PASSWORD=pgsmaster -v $(pwd)/pgsmaster:/var/lib/postgresql/data -d post...
Docker 部署 PostgreSQL 主从
qq_22917569的博客
04-29 796
postgresql 单机主从部署
docker搭建postgresql 13版本
keyboard专栏
06-17 401
4、创建查询用户，并赋值权限。
docker 搭建postgres 主从 pgadmin
jnrjian的博客
01-28 1110
当开启archive_mode=on，发现pg_wal文件巨大，可能不base文件还大时，一定是archive_command异常或未生效，可采取紧急措施降低pg_wal文件大小（不建议生产环境使用）通过上一步的初始备份，使用data/docker-data/pg/repl里的数据重建 slave容器。说明 上面repuser是同步账号，192.168.0.102是从库的IP地址，md5是加密方式。进入挂载/data/docker/pg/master/目录。
mysql5.7 主从配置docker配置文件
03-21
该配置文件可以直接放置到目录下，使用docker-compose up -d启动使用。 其中server_id=XX不能重复 在master中执行： grant replication slave,replication client on *.* to 'user1'@'%' identified by '1'; ...
docker配置mysql主从
07-09
pdf文件，里面有图片
docker-compose关于mysql主从复制一键搭建脚本
09-18
关于博客: https://blog.csdn.net/qq_42413011/article/details/126914080 的搭建脚本
详解用Docker构建MySQL主从环境
01-09
本篇文章记录我使用 docker-compose 以及 dockerfile 来构建基于 binlog 的 MySQL 主从环境。如果你严格按照文中的步骤进行配置，相信很快就可以搭建好一个基础的 MySQL 主从环境。 介绍 MySQL 主从同步分为 3 个...
Linux重载配置文件
海纳百川
03-13 1万+
在 linux 里，当我们修改了配置文件，不想让linux重启时就可以通过重载配置文件使配置文件生效。 例如，刚修改 /etc/profile文件，我想让刚刚作出的修改立刻看到效果，但又不愿意重启，这时，就可以通过重载配置文件来使配置文件立即生效： # 方式一： source /etc/profile # 方式二： . /etc/profile" Ps：source命令也称为“点命令”，也就是一...
服务热重载实现思路
海纳百川
03-22 3606
服务热重载实现思路 热重启（平滑重启、热修复）是指在不中断已有请求的状态下对服务进行重启。例如 nginx 在不断开连接的情况下重新加载新配置，微服务在不断业务的情况下完成热升级，这些都是热重启的一些应用。 在 Linux 服务器上实现热重启主要有以下两种方式：覆盖模式和管理者模式。 覆盖模式 该模式下，父进程会 fork 出子进程，将自身占有的文件资源交给子进程，子进程创建完成后通知父进程退出并开始接收新的连接，父进程收到通知后就不再接收新的连接，将当前连接处理完成后父进程就会退出，子进程此时就代替了
Linux常用特殊字符
海纳百川
03-12 3464
文章目录一、 ~二、.三、.四、/五、#六、?七、*八、[]九、;十、<十一、>十二、!十三、&十四、|【连接命令】十五、$十六、引用特殊字符 在 Linux 中有一些特殊字符，它们在命令中有着特殊的用法。掌握了这些字符能让你在 Linux 学习中更加如鱼得水。 一、 ~ 波浪号 ~ 指的是主目录，即是用户的个人目录，无论你身在何方，只要输入 cd ~ 就能立即回到主目录 [G...
Docker 绕过了 firewalld 的问题
海纳百川
09-10 3203
Docker 绕过了 firewalld 的问题 前言 我们的 firewalld 上没有开放该端口，但是在使用 Docker 的端口映射后我们就能够通过外网访问到该端口。 原因 默认情况下当Docker启动容器映射端口时，会直接在iptables添加规则开启添加端口。而 firewalld 实际上也是在iptables写入规则。因此 firewalld和docker属于是同级的应用，但是firewalld不会去检测 docker 写入的规则，就会导致 docker 可以开启firewalld没有允许的端口
docker-com 安装主从postgresql
08-30
4. 一旦您完成了配置，您可以使用以下命令在Docker中启动主从PostgreSQL容器： ``` docker-compose up -d ``` 5. 当容器启动后，您可以使用以下命令来查看正在运行的容器： ``` docker ps ``` 这样，您就成功地...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值