PGSync安装与配置完全指南

最新推荐文章于 2024-11-13 11:38:37 发布

邴念韶Monica

最新推荐文章于 2024-11-13 11:38:37 发布

阅读量726

点赞数 9

本文链接：https://blog.csdn.net/gitblog_01294/article/details/143042962

版权

PGSync安装与配置完全指南

pgsync Postgres to Elasticsearch/OpenSearch sync 项目地址: https://gitcode.com/gh_mirrors/pgs/pgsync

项目基础介绍及编程语言

PGSync是一个强大的中间件工具，专门用于实现PostgreSQL数据库与Elasticsearch或OpenSearch之间的数据同步。这个开源项目由Python 3.8及其以上版本驱动，旨在无缝地将数据从结构化的Postgres存储迁移到更适于搜索的NoSQL环境中，无需复杂的ETL流程或手动的双写处理。它利用PostgreSQL的逻辑解码功能来实时捕获并同步变更事件。

关键技术和框架

核心技术栈：

Python: 后端处理逻辑的核心语言。
Redis: 作为消息队列，协助异步处理事件。
Elasticsearch/OpenSearch: 目标搜索引擎，支持高效全文检索。
PostgreSQL: 数据源数据库，支持版本9.6及以上。
SQLAlchemy: 提供数据库访问的ORM工具，简化数据库操作。

主要特性：

实时同步：自动捕捉增删改查操作。
高度自定义文档结构。
支持关系型数据的非规范化。
无需修改现有数据库结构。

安装与配置步骤

准备工作

环境检查：确保系统已安装Python 3.8或更高版本。安装pip，Python的包管理器。配置好PostgreSQL，版本需在9.6及以上，并设置wal_level为logical，允许逻辑解码。准备Redis服务器。确认Elasticsearch或OpenSearch已部署，至少6.3.1+版本或OpenSearch 1.3.7+。

获取代码：使用Git克隆项目到本地:

git clone https://github.com/toluaina/pgsync.git

详细安装步骤

使用Docker（简易方法）

启动服务：在项目根目录下运行Docker Compose以一键部署所有依赖项和服务：
```
docker-compose up
```
验证安装：数据同步初始化后，通过以下命令检查Elasticsearch/OpenSearch中的数据：
```
curl -X GET "http://[Elasticsearch/OpenSearch Host]:9201/[Index Name]/_search?pretty=true"
```

手动安装与配置

全局安装PGSync：使用pip安装PGSync库：
```
pip install pgsync
```
创建文档模式：编写一个schem.json文件来描述你想同步的数据结构。
数据库准备：
- 给数据库用户超级权限。
- 开启PostgreSQL的逻辑复制设置。
- 创建必要的复制槽。
初始化数据库：运行以下命令来启动PGSync并初次同步数据：
```
pgsync --bootstrap --config schem.json
```
持续同步：启动服务保持数据的持续同步，可后台运行：
```
pgsync --config schem.json -d
```