同步流复制过程

最新推荐文章于 2024-07-19 07:01:13 发布
最新推荐文章于 2024-07-19 07:01:13 发布
阅读量413 收藏 9
点赞数 7
分类专栏： PostgreSQL 文章标签： postgresql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46182627/article/details/135471857
版权

同步流复制过程

参考链接：

POSTGRES 15 流复制搭建主备

PostgreSQL 14.5复制流（同步复制）

postresql同步流复制-多备库

（同步）可以一主一备，但是如果备库损坏，会导致主库部分数据丢失（异步流复制则不会）

此过程同时也包含了“异步”流复制的设置过程

第一步：主库（primary端）

  1. 设置归档相关参数（如果已经开启了同步流复制和归档模式archive_mode = on，但是没有对归档相关参数进行设置，主库会一直发出警告：WARNING: archive_mode enabled, yet archiving is not configured，也是因为没有设置配置文件的archive_command和archive_timeout导致的）
# 在主库数据目录$PGDATA下创建目录arch_log
[postgres@localhost data]$ mkdir arch_log

# 归档命令（写成bash文件或者直接把这一长串写到下一步的postgresql.conf文件的archive_command都可以）(这里演示的是bash文件)
[postgres@localhost data]$ vim archive.sh
# 文件内容如下，如果环境变量没有配置$PGDATA，就写自己主库数据目录的绝对地址
cp --preserve=timestamps $1 $PGDATA/arch_log/$2 ; find $PGDATA/arch_log -type f -mtime +30 | xargs rm -fr;
#（假设$PGDATA表示/pgdata/15.4/poc/data/）则文件内容为：
# cp --preserve=timestamps $1 /pgdata/15.4/poc/data/arch_log/$2 ; find /pgdata/15.4/poc/data/arch_log -type f -mtime +30 | xargs rm -fr;
  1. 修改配置文件postgresql.conf和pg_hba.conf
[postgres@localhost ~]$ cd /pgdata/15.4/poc/data/

[postgres@localhost data]$ vim pg_hba.conf 
#最后一行加上：
host    replication     all             0.0.0.0/0               md5

[postgres@localhost data]$ vim postgresql.conf
listen_addresses = '*'	# 监听（备库们的）地址，这个很重要
max_wal_senders = 10	# 必须设置为非零值，且比备库数量多
wal_level = replica		# 参数设置为“replica”或“logical”。
min_wal_size = 2GB		# 默认值太小，备库容易失效，增大该值，这里相应的max_wal_size记得改成比min大的值
full_page_writes = on	# 必须打开
archive_mode = on
archive_command = '/bin/bash archive.sh %p %f' # 这里刚刚新建了bash文件就写文件，没有的话把文件里的命令直接写上去是一样的
archive_timeout = 1800

# restart重启，使以上配置生效
[postgres@localhost data]$ pg_ctl -D /pgdata/15.4/poc/data/ restart
  1. 创建”流复制“用户
[postgres@localhost data]$ psql -p 5432 -d postgres
psql (15.4)
Type "help" for help.

postgres=# create user replicator1 replication login connection limit 5 password 'cc';
CREATE ROLE
  1. sudo关闭防火墙响应端口的限制（因为备库通过 端口要访问主库的内容）
[postgres@localhost ~]$ su - root
密码：
上一次登录：三 1月  3 15:12:51 CST 2024pts/0 上
# 注意这个是临时关闭，主库所在主机重启后，防火墙又会自动打开
[root@localhost ~]# systemctl stop firewalld.service
# 永久性措施：到root下，设置防火墙放行端口，这里注意如果主备库在同一台主机，要修改其中一个端口号为非5432，不然会冲突；设置完后重新加载防火墙
[root@localhost ~]# firewall-cmd --permanent --zone=public --add-port=5432/tcp
success
[root@localhost ~]# firewall-cmd --reload
success
  1. 记住primary的ip地址、刚刚创建的”流复制“用户的名字和密码，到备库去继续操作

第二步：备库（standby端）

  1. 新建备库路径、并pg_basebackup备份主库数据
[postgres@localhost ~]$ mkdir /pgdata/15.4/poc/data_standby/

# 递归修改路径所有者
[postgres@localhost ~]$ chown -R postgres /pgdata/15.4/poc/data_standby

# 备份主库数据：pg_basebackup -h 主库的ip地址 -U 主库上的”流复制“用户的名字
# 然后输入主库上的”流复制“用户的密码
[postgres@localhost ~]$ pg_basebackup -h 192.168.44.129 -U replicator1 -F p -P -X stream -R -D /pgdata/15.4/poc/data_standby/ -l backup20240103
Password: 
31799/31799 kB (100%), 1/1 tablespace
# 同一台虚拟机同时做主备份的备份命令：pg_basebackup -R -X stream -F p -U usera -D /pgdata/15.3/poc/data_standby/ -h 127.0.0.1 -p 5432 -P -v
# pg_basebackup选项的相关含义见第一个参考链接

# 必须要chmod递归修改备库下所有文件权限均为0700或者0750，不然启动pg_ctl启动备库时会报如下错：
# 2024-01-03 15:39:41.440 CST [7704] FATAL:  data directory "/pgdata/15.4/poc/data_standby" has invalid permissions
# 2024-01-03 15:39:41.440 CST [7704] DETAIL:  Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).
# stopped waiting
# pg_ctl: could not start server
[postgres@localhost ~]$ chmod -R 0700 /pgdata/15.4/poc/data_standby
  1. 修改配置文件postgresql.conf
[postgres@localhost ~]$ vim /pgdata/15.4/poc/data_standby/postgresql.conf
# 仅仅修改hot_standby = on之后，:wq保存退出vim，执行启动备库pg_ctl -D /pgdata/15.4/poc/data_standby start，回到主库psql执行select * from pg_stat_replication;就可以看到已经搭建好的异步流复制
hot_standby = on

# 修改完记得restart重启使其生效
[postgres@localhost data_standby]$ pg_ctl -D /pgdata/15.4/poc/data_standby restart

== 异步流复制到这里就完成了 ==

  1. 修改配置文件postgresql.auto.conf
[postgres@localhost data_standby]$ vim postgresql.auto.conf 
# 修改主库连接的信息，注意：application_name这个名字不要和其他备库重复了
# user和password分别填主库创建的”流复制“用户的名字和密码
# sslcompression是0或者1都行
primary_conninfo = 'application_name=postgresql2 user=replicator1 password=cc host=10.10.100.54 port=5432 sslmode=disable sslcompression=1'

# 修改完记得restart重启使其生效

第三步：主库（primary端）

  1. 修改配置文件postgresql.conf
[postgres@localhost ~]$ vim /pgdata/15.4/poc/data/postgresql.conf

# ANY 1表示有任意一台备库进行同步之后即可返回，可根据需要修改，目前只有一个备库所以这么写
# 括号里写备库刚刚在postgresql.auto.conf配置的 application_name
synchronous_standby_names = 'ANY 1 (postgresql2)'
# 如果有多个备库，备库的application_name分别叫 postgresql1，postgresql2 …，可以写成FIRST格式：
# synchronous_standby_names = 'postgresql1,postgresql2'
# FIRST语法下，放在第一个的备库是同步主库，其他为同步备库，同步的节点值为sync，异步的节点值为asyn；被匹配为同步的节点，但是被个数限制的值为 potential
# ANY语法下，值为quorum，表现上没有同步和异步一说，一个写事务主节点收到指定数量的standy节点的反馈，接着就会给客户端返回事务执行成功。
wal_level = hot_standby
synchronous_commit = on
hot_standby_feedback = true	
# hot_standby = on # 保持默认on就行


# 修改完记得restart重启使其生效
[postgres@localhost ~]$ pg_ctl -D /pgdata/15.4/poc/data/ restart
  1. 回去重启一下备库，主库这边应该就会提示
2024-01-03 16:15:31.677 CST [11550] LOG:  standby "postgresql2" is now a candidate for quorum synchronous standby
  1. 验证“同步”流复制是否开启成功（备库开启成功时才会有相应的记录，关闭备库查询不到）
[postgres@localhost ~]$ psql
psql (15.4)
Type "help" for help.

postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid              | 11550
usesysid         | 78253
usename          | replicator1
application_name | postgresql2
client_addr      | 192.168.44.128
client_hostname  | 
client_port      | 50736
backend_start    | 2024-01-03 16:15:31.655289+08
backend_xmin     | 
state            | streaming
sent_lsn         | 0/240004B8
write_lsn        | 0/240004B8
flush_lsn        | 0/240004B8
replay_lsn       | 0/240004B8
write_lag        | 00:00:00.000643
flush_lag        | 00:00:00.001356
replay_lag       | 00:00:00.002426
sync_priority    | 1
sync_state       | quorum
reply_time       | 2024-01-03 16:15:31.69824+08

# 关于sync_state，这里的呈现与主库配置文件postgresql.conf中的synchronous_standby_names

其他

1.主库IP变更

  • 修改备库的配置文件postgresql.conf，把配置项primary_conninfo中的host地址修改为主库最新IP地址即可，记得restart重新加载conf文件。

2.主库上做回归测试时会卡住并出现以下提示

2024-01-05 11:21:45.754 CST [3969] WARNING:  canceling wait for synchronous replication due to user request
2024-01-05 11:21:45.754 CST [3969] DETAIL:  The transaction has already committed locally, but might not have been replicated to the standby.
  • 开启任一备库即可
TheShy:)
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PostgreSQL实战-pg13主从同步异步流复制
孙霸天的专栏
10-07 2535
PostgreSQL早在9.0版本开始支持物理复制，也可称为流复制( Streaming Replication，通过流复制技术，可以从实例级复制出一个与主库一模一样的从库 (也称之为备库)。
postgresql源码学习（36）—— 事务日志11 - 日志归档
Hehuyi_In的博客
08-09 3897
上一篇我们学习了日志清理，日志清理虽然解决了日志膨胀的问题，但就无法再恢复检查点之前的一致性状态。因此，我们还需要日志归档，pg的日志归档原理和Oracle类似，不过归档命令需要自己配置。以下代码在postmaster.c除了开启归档外，还需要保证wal_level不能是MINIMAL状态（因为该状态下有些操作不会记录日志）。在db启动时，会同时检查archive_mode和wal_level。以下代码也在postmaster.c（PostmasterMain函数）。......
archive_mode参数
HighGO
02-08 5059
archive_mode 当启用archive_mode时，通过设置archive_command将已完成的WAL段发送到归档存储。除了off，disable，还有两种模式：on,always。在正常操作期间，两种模式之间没有区别，但是当设置为always的情况下,WAL archiver在存档恢复或待机模式下也被启用。在always模式下，从归档还原或流式复制流的所有文件都将被归档（再次...
流复制同步异步转换
HighGO
07-09 1625
作者：瀚高PG实验室（Highgo PG Lab）-Chrisx 文章目录介绍同步异步转换同步复制不等待 介绍 数据库流复制支持同步和异步方式，同步方式能提供最大保护，异步方式能提供最大可用。同步方式在网络异常或备库宕机情况下，主库操作也会受影响，事务操作会出现等待状态。当出现以上场景时，我们总是希望进行降级，将同步转为异步，避免主库hang住。 如果实在无法保持所要求数量的同步后备，那么应该减少synchronous_standby_names中指定的事务提交应该等待其回应的同步后备的数量（或者禁用）
流复制浅析 —— 物理流复制部署
HighGO
04-02 1632
PostgreSQL复制方式有两种：物理复制和逻辑复制。 早在PG9.0版本开始支持物理复制，也可以叫流复制（Streaming Replication下文中流复制一般指物理流复制）。PG10版本开始支持逻辑复制。 流复制技术可以在实例级别复制出一个与主库一模一样的从库（备库）。通过流复制，备库不断的从主库同步相应的数据，并在备库apply每个WAL record，这里的流复制每次传输单位是WAL日志的record。而PostgreSQL9.0之前提供的方法是主库写完一个WAL日志文件后，才把WAL日志
PostgreSQL 12流复制实施手册
10-15
在PostgreSQL 12中，流复制是一种基于WAL（Write-Ahead Log）的日志传输机制，它使得主数据库和备数据库之间的数据同步更加高效和可靠。 **一、环境准备** 1. **操作系统**: 在这个手册中，我们使用的操作系统是...
postgresql复制流双机
11-25
复制流是 PostgreSQL 高可用性解决方案的核心，它允许主数据库的数据变更实时同步到备用服务器。PostgreSQL 提供了多种复制方式，如物理复制（WAL 归档）和逻辑复制。在这个场景中，我们通常使用物理复制，通过连续...
同步复制文件夹源码.zip易语言项目例子源码下载
03-22
在同步复制过程中，可能会遇到各种错误，如文件正在被其他程序使用、磁盘空间不足等。易语言提供了“异常处理”结构来捕获和处理这些异常，确保程序的健壮性。 5. 并行与异步操作： 在现代计算机系统中，为了提高...
oracle 流复制
04-13
Oracle流复制是一种高级的数据复制技术，它允许在数据库之间实时或近实时地同步数据，以实现数据冗余、灾难恢复、负载均衡等多种目的。在这个过程中，源数据库的更改被捕捉并传输到目标数据库，确保两个数据库的状态...
Oracle流复制技术在电子商务数据库的应用研究
07-04
对Oracle流复制技术在数据库系统容灾备份中的构建过程进行了详细介绍,通过对Oracle容灾备份技术的分析,引入流复制技术至电子商务数据库系统中,研究怎样通过Oracle流复制技术在数据库数据共享中的应用,实施容灾备份...
FreeBSD下使用vncviewer登录bhyve Ubuntu虚拟机无显示-原来是VNC密码错误
skywalk8163的专栏
07-18 956
FreeBSD下使用vncviewer登录bhyve虚拟机Ubuntu无显示，原来是VNC密码错误（忘记密码了），重设vnc密码搞定。注意重设密码后需要重启虚拟机。另外即使不重设密码，重启时也能看到输出密码......果然重启大法非常管用！到目前为止其它的一些vnc客户端安装没成功，先不管了，只要tightvnc能用就行。
MySQL（事务、索引）&&MyBatis
hycccccch的博客
07-19 456
事务指的是一组操作的集合，是一个不可分割的工作单位。事务会将所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败默认MySQL的事务是自动提交，即当执行一条DML语句时，MySQL会立即隐式的提交事务开启事务后运行事务不会对数据改变，commit后才会改变数据如果有命令发生错误，需要进行rollback进行回滚、
【星海随笔】vCenter Server 和主机管理。
weixin_41997073的博客
07-16 200
1.方法：删除页面信息，然后断连这个受管主机，断开受管主机的连接不会将其从 vCenter Server 中移除，而只是临时挂起 vCenter Server 执行的所有监控活动。2.方法：在分布式存储中找到该虚拟设备的存储盘，文件里找到相关的vmdk磁盘文件，点击注册虚拟机。当资料不匹配时候，可以删除展示页面，孤立的设备的 匹配位置的信息。断开后，然后重新连接，既可以重新识别受监管的主机。数据库在Vserver中展示的是一个数据库的资料，应该是client的资料。1.确定为资料不匹配导致的展示问题。
Spring框架之DI依赖注入
G81948577的博客
07-18 575
我们在下面构建spring的过程中体会依赖注入；从上面的图中我们知道，在ssm框架中服务层（server）无法直接操作数据库，持久层（dao）是直接操作数据库进行数据处理的，但是我们如果在服务层有一个持久层的对象，然后我们在服务层通过对象去调用持久层的方法就可以操作数据库了。@OverrideSystem.out.println("持久层，你好");UserServiceImpl类中的代码如下@Override。
深入 Dify 源码，洞察 Dify RAG 核心机制
易迟的专栏
07-17 1115
之前深入源码对 Dify 的完整流程进行了解读，基本上梳理了 Dify 的实现流程与主要组件。但是在实际部署之后，发现 Dify 现有的 RAG 检索效果没有那么理想。因此个人结合前端页面，配置信息与实现流程，深入查看了私有化部署的 Dify 的技术细节。将核心内容整理在这边，方便大家根据实际的业务场景调整 Dify 知识库的配置，或者根据需要进行二次开发调优。
day04：Redis和店铺营业状态设置
m0_69266818的博客
07-15 848
介绍了Redis命令和用java操作redis还有营业额状态接口的书写
怎样在 PostgreSQL 中实现数据的异地备份？
最新发布
技术笔记
07-19 855
总而言之，在 PostgreSQL 中实现数据的异地备份不是一件难事，但也需要我们认真对待，精心规划。选择合适的备份方法和异地存储方式，制定合理的备份策略，定期进行测试和恢复演练，才能确保我们的数据在任何情况下都能“安然无恙”。🎉相关推荐🍅关注博主🎗️带你畅游技术世界，不错过每一次成长机会！📚领书：PostgreSQL 入门到精通.pdf📙PostgreSQL 中文手册📘PostgreSQL 技术专栏🍅CSDN社区-墨松科技。
Apache AGE的WITH子句
oscube的博客
07-17 294
使用 WITH，您可以在将输出传递给以下查询部分之前对其进行操作。这些操作可以是结果集中条目的形状和/或数量。WITH 也可以像 RETURN 一样，使用别名对引入结果的表达式进行别名，使用别名作为绑定名称。WITH 还用于将图的读取与图的更新分开。查询的每个部分必须是只读的或只写的。从写入子句转到读取子句时，可以使用可选的 WITH 进行此操作。
linux系统 mysql-8.0.32安装
w20228396的博客
07-16 371
检查系统是否安装了mariadb数据库， mariadb数据库是mysql的分支，是免费开源的。初始化数据库，安装加密算法（初始化时候，密码将在log-error=/data/mysql-8.0.32/error.log中产生）若linux中安装了mariadb数据库，先卸载掉， mariadb数据库可能与安装mysql发生冲突。再去bin目录下，执行 mysqld_safe --skip-grant-tables &然后mysql -uroot -p登陆，直接回车，不需要密码可登陆进去。
postgresql14流复制
06-22
PostgreSQL 14中的流复制（Stream Replication）是一种高效的数据复制机制，它允许主数据库将更改的数据行实时地传输到从数据库，而不需要完整的事务或全表扫描。这种方式非常适合需要高延迟敏感性和大量实时更新的应用场景，例如日志处理、数据分析和实时监控。 以下是 PostgreSQL 14 流复制的一些关键点： 1. **wal_sender**：wal_sender进程在主数据库上运行，负责将写入的WAL（Write Ahead Log）片段发送给从数据库。 2. **wal_receiver**：wal_receiver进程在从数据库上运行，接收并应用来自主数据库的WAL数据。 3. **流模式**：wal_level设置为stream时启用流复制，仅复制更改数据的最小变动（XLOG记录）。 4. **实时性**：数据行以流的形式传递，减少了网络带宽需求，提高复制速度。 5. **复制槽**（Replication Slot）：用于管理复制连接和数据传输，可以创建多个槽，每个槽对应一个从节点。 6. **同步点**（Sync Point）：复制过程中的一个重要概念，wal_sender定期发送同步点，当从数据库接收到这个同步点后，可以停止接收新的变更直到主库的下一个同步点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值