postgresql 安装 配置远程访问 PostgreSQL WAL日志解析工具: wal2json cdc数据同步方案

最新推荐文章于 2024-07-15 07:31:24 发布
最新推荐文章于 2024-07-15 07:31:24 发布
阅读量7.3w 收藏 4
点赞数 3
分类专栏： postgresql cdc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javahelpyou/article/details/114536386
版权

文章目录

一.安装postgres

(1)新增postgres用户组：

groupadd postgres

新增postgres用户并且设置这个用户属于上面创建的postgres用户组：

useradd -g postgres postgres

修改postgres用户密码:passwd postgres（这里设置密码为123456,需要输入2遍）

passwd postgres

cd到目录
在这里插入图片描述

（2）wget获取安装包（可通过其他路径或官网）,解压缩包

wget https://ftp.postgresql.org/pub/source/v10.5/postgresql-10.5.tar.gz

tar xf postgresql-10.5.tar.gz

cd到解压后目录
在这里插入图片描述

（3）编译安装
为避免出错，先解决包缺失问题

yum install ncurses* readline* zlib* -y

指定安装路径

./configure --prefix=/usr/local/pgsql-10.5

编译

make install

在这里插入图片描述

(4)配置
在/usr/local目录上生成了pgsql-10.5目录
在这里插入图片描述

创建用户及设置/usr/local/pgsql-10.5目录文件属主组

chown -R postgres.postgres /usr/local/pgsql-10.5/

ll /usr/local/ |grep pgsql-10.5

在这里插入图片描述

给/usr/local/pgsql-10.5目录设置软连接

ln -s /usr/local/pgsql-10.5/ /usr/local/pgsql

 ll /usr/local/pgsql

在这里插入图片描述

(5)切换到对应用户，操作

su - postgres

在这里插入图片描述
设置环境变量：

vim ~/.bash_profile

粘贴：

PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH=$PATH:/usr/local/pgsql-10.5/bin
PGDATA=/usr/local/pgsql-10.5/data
export PGDATA
export PATH

在这里插入图片描述
生效

source ~/.bash_profile

测试

which psql

psql -V

（6）初始化数据库（initdb --help查看详情），指定库文件路径

 initdb /usr/local/pgsql-10.5/data

在这里插入图片描述

（7）设置远程访问
a.进入到安装的目录下,修改pg_hba.conf配置文件
在这里插入图片描述

 cp pg_hba.conf pg_hba.conf.`date +%F`

 vim pg_hba.conf

在这里插入图片描述
允许所有ip通过密码访问
在这里插入图片描述

b.修改postgresql.conf配置文件

cp postgresql.conf postgresql.conf.`date +%F`

在这里插入图片描述

vim postgresql.conf

在这里插入图片描述

(8)创建log目录用于存放开机日志，及启动数据库

mkdir /usr/local/pgsql/log

pg_ctl start -l /usr/local/pgsql-10.5/log/pg_server.log

在这里插入图片描述
出现报错，进入log目录查看出错原因：

在这里插入图片描述

在这里插入图片描述
发现配置有问题，修改部分多加了一个. 把 0.0.0.0./0 改为 0.0.0.0/0，保存退出

在这里插入图片描述

执行：

pg_ctl start -l /usr/local/pgsql-10.5/log/pg_server.log

(9)检查是否启动

ps -ef|grep postgres

在这里插入图片描述

(10)数据库的简单操作
进入库

   psql

在数据库中：

\password    #设置密码
CREATE DATABASE cdc;       #创建库
\du    #查看用户
\l    #查看数据库列表
create user cdc superuser password '123456';    #创建用户及密码

二.WAL日志解析工具

(1) 配置环境变量

vim /etc/profile

粘贴

export PATH="/usr/local/pgsql-10.5/bin:$PATH"

让配置生效

source /etc/profile

（2）
把postgresql的bin加入到环境变量后，执行

若无法克隆，可询问我

git clone https://github.com/streamsets/wal2json.git

配置安装的postgresql的bin下的pg_config

PATH=/path/to/bin/pg_config:$PATH

USE_PGXS=1 make

USE_PGXS=1 make install

（3）在postgresql.conf中设置参数

wal_level = logical
#
# these parameters only need to set in versions 9.4, 9.5 and 9.6
# default values are ok in version 10 or later
#
max_replication_slots = 10
max_wal_senders = 10
wal_sender_timeout = 2000

在这里插入图片描述
（注意：把timeout去掉，之后做数据同步的时候发现有错误）

配置的参数含义

include-xids：将xid添加到每个变更集。默认值为false。
include-timestamp：向每个变更集添加时间戳。默认值为false。
include-schemas：将架构添加到每个更改。默认为true。
include-types：为每个更改添加类型。默认为true。
include-typmod：在具有修饰符的类型中添加修饰符（例如varchar（20）而不是varchar）。默认为true。
include-type-oids：添加类型oid。默认值为false。
include-domain-data-type：用基础数据类型替换域名。默认值为false。
include-column-positions：添加列位置（pg_attribute.attnum）。默认值为false。
include-not-null：添加不为null的信息作为columnOptionals。默认值为false。
include-default：添加默认表达式。默认值为false。
include-pk：将主键信息添加为pk。包括列名和数据类型。默认值为false。
pretty-print：在JSON结构中添加空格和缩进。默认值为false。
write-in-chunks：在每次更改之后而不是每个更改集之后编写。默认值为false。
include-lsn：将nextlsn添加到每个变更集。默认值为false。
include-unchanged-toast（不建议使用）：请勿使用。不推荐使用。
filter-origins：排除指定来源的更改。默认为空，这意味着将不过滤任何原点。它是一个逗号分隔的值。
filter-tables：从指定表中排除行。默认为空，这意味着将不过滤任何表。它是一个逗号分隔的值。这些表应该是模式限定的。*.foo表示所有架构中的表foo，bar.*表示架构栏中的所有表。特殊字符（空格，单引号，逗号，句号，星号）必须以反斜杠转义。模式和表区分大小写。表"public"."Foo bar"应指定为public.Foo\ bar。
add-tables：仅包含指定表中的行。默认为所有架构中的所有表。它具有与相同的规则filter-tables。
filter-msg-prefixes：如果前缀在列表中，则排除消息。默认为空，这意味着将不过滤任何消息。它是一个逗号分隔的值。
add-msg-prefixes：仅当前缀在列表中时才包括消息。默认为所有前缀。它是一个逗号分隔的值。在此参数之前wal2json应用filter-msg-prefixes。
format-version：定义要使用的格式。默认值为1。
actions：定义要发送的操作。默认为所有操作（插入，更新，删除和截断）。但是，如果您使用的是format-version1，则不会启用截断功能（向后兼容）。

配置完成后重启

pg_ctl restart-l /usr/local/pgsql-10.5/log/pg_server.log

（4）
有2种方式获取变更：通过SQL或pg_recvologic调用函数
a.pg_recvologic
在一个终端中：

pg_recvlogical -d postgres --slot test_slot --create-slot -P wal2json

pg_recvlogical -d postgres --slot test_slot --start -o pretty-print=1 -f -

在另一个终端：

vim /tmp/example1.sql

粘贴

CREATE TABLE table_with_pk (a SERIAL, b VARCHAR(30), c TIMESTAMP NOT NULL, PRIMARY KEY(a, c));
CREATE TABLE table_without_pk (a SERIAL, b NUMERIC(5,2), c TEXT);

BEGIN;
INSERT INTO table_with_pk (b, c) VALUES('Backup and Restore', now());
INSERT INTO table_with_pk (b, c) VALUES('Tuning', now());
INSERT INTO table_with_pk (b, c) VALUES('Replication', now());
DELETE FROM table_with_pk WHERE a < 3;

INSERT INTO table_without_pk (b, c) VALUES(2.34, 'Tapir');
-- it is not added to stream because there isn't a pk or a replica identity
UPDATE table_without_pk SET c = 'Anta' WHERE c = 'Tapir';
COMMIT;

psql -At -f /tmp/example1.sql postgres

在这里插入图片描述
原来的终端
在这里插入图片描述

在原来的终端
Ctrl+C 停止

pg_recvlogical -d postgres --slot test_slot --drop-slot

b.sql

采用格式1输出

vim /tmp/example2.sql

粘贴

CREATE TABLE table2_with_pk (a SERIAL, b VARCHAR(30), c TIMESTAMP NOT NULL, PRIMARY KEY(a, c));
CREATE TABLE table2_without_pk (a SERIAL, b NUMERIC(5,2), c TEXT);

SELECT 'init' FROM pg_create_logical_replication_slot('test_slot', 'wal2json');

BEGIN;
INSERT INTO table2_with_pk (b, c) VALUES('Backup and Restore', now());
INSERT INTO table2_with_pk (b, c) VALUES('Tuning', now());
INSERT INTO table2_with_pk (b, c) VALUES('Replication', now());
DELETE FROM table2_with_pk WHERE a < 3;

INSERT INTO table2_without_pk (b, c) VALUES(2.34, 'Tapir');
-- it is not added to stream because there isn't a pk or a replica identity
UPDATE table2_without_pk SET c = 'Anta' WHERE c = 'Tapir';
COMMIT;

SELECT data FROM pg_logical_slot_get_changes('test_slot', NULL, NULL, 'pretty-print', '1');
SELECT 'stop' FROM pg_drop_replication_slot('test_slot');

psql -At -f /tmp/example2.sql postgres

在这里插入图片描述

采用格式2输出

vim  /tmp/example3.sql

粘贴

CREATE TABLE table2_with_pk (a SERIAL, b VARCHAR(30), c TIMESTAMP NOT NULL, PRIMARY KEY(a, c));
CREATE TABLE table2_without_pk (a SERIAL, b NUMERIC(5,2), c TEXT);

SELECT 'init' FROM pg_create_logical_replication_slot('test_slot', 'wal2json');

BEGIN;
INSERT INTO table2_with_pk (b, c) VALUES('Backup and Restore', now());
INSERT INTO table2_with_pk (b, c) VALUES('Tuning', now());
INSERT INTO table2_with_pk (b, c) VALUES('Replication', now());
DELETE FROM table2_with_pk WHERE a < 3;

INSERT INTO table2_without_pk (b, c) VALUES(2.34, 'Tapir');
-- it is not added to stream because there isn't a pk or a replica identity
UPDATE table2_without_pk SET c = 'Anta' WHERE c = 'Tapir';
COMMIT;

SELECT data FROM pg_logical_slot_get_changes('test_slot', NULL, NULL, 'format-version', '2');
SELECT 'stop' FROM pg_drop_replication_slot('test_slot');

psql -At -f /tmp/example3.sql postgres

在这里插入图片描述

三.cdc增量数据同步方案

todo 后面再写

postgresql数据库安装日志解析插件wal2json
zhengzaifeidelushang的博客
07-27 1434
postgresql数据库安装日志解析插件wal2json 一、编译安装wal2json插件 cd wal2json export PATH=/data/home/fei.yang4/moudle/postgresql/bin:$PATH make make install 二、直接导入wal2json插件 查看pg进程确定pgsql库和配置文件存放目录 ps -ef | grep postgresql ubuntu 24975 24835 0 08:56 pts/1 00:00:00 g
PostgreSQL数据库安装日志解析插件wal2json - 大数据应用
2301_79366435的博客
08-30 486
PostgreSQL数据库安装日志解析插件wal2json - 大数据应用在大数据应用中，PostgreSQL是一个广泛使用的关系型数据库管理系统。它具有可靠性、可扩展性和丰富的功能，使其成为处理大规模数据的理想选择。在此背景下，了解如何解析PostgreSQL的安装日志以及使用插件wal2json是非常有用的，因为它可以帮助我们从数据库事务日志中提取有关数据更改的信息。本文将介绍如何安装和配置wal2json插件，并演示如何使用它解析PostgreSQL的安装日志。
PostgreSQL WAL日志解析工具: wal2json
07-06
工具软件，基于 https://blog.csdn.net/Kafka_yx/article/details/103132469 生成的dll
Postgresql WAL日志解析挖掘（walminer 4.0）
loveLAxin的博客
11-24 2356
WalMiner是PostgreSQL的WAL(write ahead logs)日志解析工具，旨在挖掘wal日志所有的有用信息，从而提供PG的数据恢复支持。Walminer 3.0版本是以插件的模式进行使用。 walminer 4.0版本摒弃插件模式改为bin模式，现已脱离对目标数据库的编译依赖和安装依赖。遇到错误：walminer: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by walminer)并解决
PostgreSQL 服务器日志 pg_log
测试0901-1
04-02 2417
10.0版本PostgreSQL，存在三种日志 WAL日志，即重做日志，一般不可读 日志对应目录为 $PGDATA/pg_xlog 事务提交日志，记录的是事务的元数据 日志对应目录为 $PGDATA/pg_clog 数据库运行日志 日志对应目录为$PGDATA/pg_log 前两种日志，虽然仍然非常重要，但却是不可读的，我们日常使用不多。本次重点说明第三...
PostgreSQL数据库从入门到精通系列之一：安装部署PostgreSQL数据库、创建用户名和密码、创建表、插入数据
zhengzaifeidelushang的博客
06-08 1339
PostgreSQL数据库从入门到精通系列之一：安装部署PostgreSQL数据库、创建用户名和密码、创建表、插入数据
【PostgreSQL 小课】日志及审计 01：日志
cc20100608的专栏
06-06 2367
就像许多其他服务和数据库一样，PostgreSQL 提供了自己的日志基础设施，以便管理员可以检查守护进程正在做什么以及数据库系统的当前状态。虽然日志对于数据和数据库活动并不是必不可少的，但它们代表了关于整个系统中发生的事情的非常重要的部分，并且通过日志提供的重要线索，可以帮助管理员采取相应的动作。PostgreSQL 有一个非常灵活和可配置的日志基础设施，允许不同的日志配置、轮转、归档和后续分析。
PostgreSQL数据归档与恢复教学
2401_85763803的博客
06-20 1130
PostgreSQL是一个功能强大的开源关系型数据库管理系统，它提供了多种数据归档和恢复的策略来确保数据的安全性和可靠性。本教程将详细介绍如何在PostgreSQL中配置数据归档，以及如何进行数据恢复。
从零开始学PostgreSQL (一)：Centos8 RPM安装PostgreSQL16
最新发布
qq_34692500的博客
07-15 1060
下载安装包https://www.postgresql.org/download/选择对应版本安装#yum源 yum -y install wget https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm #禁用内置的PostgreSQL模块： yum...
【0000】PostgreSQL V17.4 内核源码剖析专栏（2017 ~ 2025.05.15 更新）
Postgres 数据库内核开发工程师
12-13 5332
本专栏将会持续更新，直到将PostgreSQL V13.2源码涉及的所有原理、技术剖析完成为止。每一篇文章都是经过多次的源码阅读 + 调试，得以验证之后才梳理成文章形式。最终该专栏的文章数量应该在一万篇或以下，这也是文章序号从【0000】开始的缘故。通过本专栏的学习，能够让你掌握PostgreSQL数据库中的每个技术背后，底层的实现原理。
pgsync：将数据从一个Postgres数据库同步到另一个数据库
02-05
pgsync 将数据从一个Postgres数据库同步到另一个数据库（例如pg_dump / pg_restore ）。 设计用于： 速度-表格并行传输 安全性-防止敏感数据离开服务器的内置方法 灵活性-优雅地处理架构差异，例如缺少列和多余的列 便利性-同步部分表，表组和相关记录 :tangerine: 经过战斗测试 安装 pgsync是一个命令行工具。 要安装，请运行： gem install pgsync 这将为您提供pgsync命令。 如果安装失败，则可能需要安装。 建立 在您的项目目录中，运行： pgsync --init 这将创建.pgsync.yml供您自定义。 我们建议将其检查到版本控件
postgreSql数据库同步,对比工具破解版
12-17
postgresql 数据库同步工具，数据对比，同步更新，数据
PostgreSQL同步方案
weixin_34162228的博客
06-22 1613
Windows下Postgre SQL数据库通过Slony-I实现数据库双机同步备份 - 数据库其他综合 - 红黑联盟     postgresql同步流复制的Hot Standby - CSDN博客     使用postgreSQL DataSync 进行pg数据库升级 数据同步 升级脚本生成, postgreSQL DataSync简单教程 - CSDN博客  ...
流式数据同步：一种PostgreSQL到ClickHouse的高效数据同步方案
Poker_Facex的博客
06-02 1718
本文阐述了一种PostgreSQL到ClickHouse的数据同步方案，该方案使用流式数据传输特性，相比分页查询+批量插入的组合方式有不少性能提升
PostgreSQL 配置远程访问
DengCME的博客
02-04 1219
PostgreSQL 配置远程访问。
PostgreSQL 中如何实现数据的实时同步和数据一致性验证？
发现生活，分享智慧，一起成长！
07-13 1366
在 PostgreSQL 中实现数据的实时同步和一致性验证是一个复杂但重要的任务。通过合理地运用流复制、逻辑复制等技术，结合完整性约束、事务和定期的数据校验，我们可以有效地保证数据的准确性和可靠性。在实际应用中，需要根据具体的业务需求和系统环境，综合考虑各种因素，制定合适的方案，并不断进行优化和改进。只有这样，才能在数据库管理中确保数据的质量，为业务的稳定运行提供坚实的基础。希望以上的内容能够对您在 PostgreSQL 数据库的数据管理方面提供有益的参考和帮助。
PostgreSQL配置远程访问
weixin_46307478的博客
08-27 2822
PostgreSQL配置远程访问 默认情况下，PostgreSQL只允许localhost（127.0.0.1）的连接。如果数据库服务器和程序不在一台服务器上，那么将无法连接。所以如果要开启远程访问，需要更改安装文件的配置。 1）修改IP绑定 (base) [root@song ~]# vim /var/lib/pgsql/12/data/postgresql.conf #将监听地址修改为* #默认listen_addresses配置是注释掉的，所以可以直接在配置文件开头加入该行 listen_addre
PostgreSQL 数据库配置可远程访问
u012345041的博客
08-25 2524
操作系统配置环境变量的windows 用户使用 任务管理，进程详细linux 用户使用 ps -ef |grep postgres 可以显示数据库目录。
持续归档PostgreSQL WAL文件与基础备份的Python工具
资源摘要信息: "Python-WalEPostgres连续归档" 程序是一款设计用于对PostgreSQL数据库的WAL（Write-Ahead Logging）日志文件以及基本备份进行持续归档的工具。WAL日志是PostgreSQL用来保证事务一致性和数据库崩溃...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值