PostgreSQL同步/异步流复制介绍及相互转换

一、介绍

1.概念

1.1.同步流复制

同步流复制就是当主库发生变化,比如有一条DML语句产生了WAL日志后,通过后台进程传送到备库,备库必须要应用这个日志,然后向主库返回一个成功应用的信号,主库才可以成功的commit;否则主库会一直等待到备库成功应用后,期间的等待就是主库commit后返回成功的时间段。同步流复制是PostgreSQL9.1后才有的。

1.2.异步流复制

异步流复制与同步流复制相反,即主库产生变化,再将WAL日志传递到备库,不需要等待备库应用完成,只需要成功传递WAL日志即返回commit。

2.优缺点

2.1.同步流复制的优缺点

优点:主备库数据无延迟,适用于负载均衡,读写分离的情况。

缺点:会影响主库的提交性能,如果在一个繁忙的业务系统中备库存在异常问题,备库无法应用或者没有及时的返回commit,主库就会出现长时间的等待或者宕机。而且一主一备环境如果配置了synchronous_standby_names参数后,备库一旦出现异常,无法正常写入,主库写操作也会一直等待,如采用同步流复制建议采用一主多备(大于等于两个备库)。

2.2.异步流复制的优缺点

优点:主库提交不受影响,备库出现异常时主库仍然可以正常运行。

缺点:主备库之间会存在数据延迟情况,主备库切换后可能存在数据丢失,而且备库宕机后无明显提示,如果采用复制槽,主库会积攒大量wal文件,会有磁盘爆满的情况出现。

二、同步/异步相互转换

1.异步流复制转换同步流复制

1.1.主库修改参数

alter system set synchronous_standby_names = 'standby1';
synchronous_commit = on  --默认值为on,一般不需要修改
select pg_reload_conf();

注:synchronous_standby_names 为同步流复制下从库的application_name。

1.2.备库修改参数

## 添加 application_name
vi postgresql.auto.conf
primary_conninfo = 'application_name=standby1 user=postgres password=admin channel_binding=disable host=192.168.80.239 port=5432 sslmode=disable sslcompression=0 sslsni=1 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

1.3.重新加载配置

pg_ctl reload

1.4.检查同步

## 主库检查
postgres=# select client_addr,state,sync_state from pg_stat_replication;
  client_addr   |   state   | sync_state 
----------------+-----------+------------
 192.168.80.240 | streaming | sync
(1 row)

postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid              | 15941
usesysid         | 10
usename          | postgres
application_name | standby1
client_addr      | 192.168.80.240
client_hostname  | 
client_port      | 41592
backend_start    | 2023-12-14 13:29:51.005534+08
backend_xmin     | 
state            | streaming
sent_lsn         | 0/43000998
write_lsn        | 0/43000998
flush_lsn        | 0/43000998
replay_lsn       | 0/43000998
write_lag        | 
flush_lag        | 
replay_lag       | 
sync_priority    | 1
sync_state       | sync
reply_time       | 2023-12-14 13:37:46.05816+08

## 备库检查
postgres=# select * from pg_stat_wal_receiver;
-[ RECORD 1 ]---------+--------------------------------------------------------------------
pid                   | 15677
status                | streaming
receive_start_lsn     | 0/43000000
receive_start_tli     | 2
written_lsn           | 0/43000998
flushed_lsn           | 0/43000998
received_tli          | 2
last_msg_send_time    | 2023-12-14 13:38:06.903124+08
last_msg_receipt_time | 2023-12-14 13:38:26.074047+08
latest_end_lsn        | 0/43000998
latest_end_time       | 2023-12-14 13:34:06.516149+08
slot_name             | 
sender_host           | 192.168.80.239
sender_port           | 5432
conninfo              | user=postgres password=******** channel_binding=disable dbname=replication host=192.168.80.239 port=5432 application_name=standby1 fallback_application_name=walreceiver sslmode=disable sslcompression=0 sslsni=1 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any

2.同步流复制转换异步流复制

2.1.主库修改参数

alter system reset synchronous_standby_names;
select pg_reload_conf();

2.2.备库修改参数

## 删除 application_name
vi postgresql.auto.conf
primary_conninfo = 'user=postgres password=admin channel_binding=disable host=192.168.80.239 port=5432 sslmode=disable sslcompression=0 sslsni=1 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

2.3.重新加载配置

pg_ctl reload

2.4.检查同步

## 主库检查
postgres=# select client_addr,state,sync_state from pg_stat_replication;
  client_addr   |   state   | sync_state 
----------------+-----------+------------
 192.168.80.240 | streaming | async
(1 row)

postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid              | 16296
usesysid         | 10
usename          | postgres
application_name | walreceiver
client_addr      | 192.168.80.240
client_hostname  | 
client_port      | 41594
backend_start    | 2023-12-14 13:54:40.95684+08
backend_xmin     | 
state            | streaming
sent_lsn         | 0/43000D40
write_lsn        | 0/43000D40
flush_lsn        | 0/43000D40
replay_lsn       | 0/43000D40
write_lag        | 
flush_lag        | 
replay_lag       | 
sync_priority    | 0
sync_state       | async
reply_time       | 2023-12-14 14:03:17.086516+08

## 备库检查
postgres=# select * from pg_stat_wal_receiver;
-[ RECORD 1 ]---------+-------------------------------------------------------------------------
pid                   | 15972
status                | streaming
receive_start_lsn     | 0/43000000
receive_start_tli     | 2
written_lsn           | 0/43000D40
flushed_lsn           | 0/43000D40
received_tli          | 2
last_msg_send_time    | 2023-12-14 14:03:07.740902+08
last_msg_receipt_time | 2023-12-14 14:03:26.911762+08
latest_end_lsn        | 0/43000D40
latest_end_time       | 2023-12-14 13:59:07.345619+08
slot_name             | 
sender_host           | 192.168.80.239
sender_port           | 5432
conninfo              | user=postgres password=******** channel_binding=disable dbname=replication host=192.168.80.239 port=5432 application_name=standby1 fallback_application_name=walreceiver sslmode=disable sslcompression=0 sslsni=1 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any
  • 9
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 答:为了将PostgreSQL数据导入Kafka,您可以使用Kafka Connect的JDBC源连接器。该插件允许您将数据从PostgreSQL复制到Kafka,并在Kafka和PostgreSQL之间进行双向同步。您可以在GitHub上找到更多有关如何使用Kafka Connect将PostgreSQL数据导入Kafka的代码示例。 ### 回答2: 下面是一个使用pg进行数据导入Kafka的示例代码,该代码使用Python编写: ```python import psycopg2 from kafka import KafkaProducer # 连接到PostgreSQL数据库 conn = psycopg2.connect( dbname='your_database_name', user='your_username', password='your_password', host='your_host', port='your_port' ) # 创建游标对象 cur = conn.cursor() # 执行SQL查询语句 cur.execute('SELECT * FROM your_table') # 实例化KafkaProducer对象 producer = KafkaProducer(bootstrap_servers='your_kafka_bootstrap_servers') # 逐行读取查询结果并发送到Kafka for row in cur: # 将查询结果转换为字符串,并将其发送到Kafka主题 producer.send('your_kafka_topic', str(row).encode('utf-8')) # 关闭数据库连接 cur.close() conn.close() ``` 以上代码中,需要替换以下内容: - your_database_name:替换为你的数据库名称 - your_username:替换为你的数据库用户名 - your_password:替换为你的数据库密码 - your_host:替换为你的数据库主机地址 - your_port:替换为你的数据库端口号 - your_table:替换为你要导入数据的表名 - your_kafka_bootstrap_servers:替换为你的Kafka的bootstrap servers地址 - your_kafka_topic:替换为你要发送数据的Kafka主题名 这个示例代码使用psycopg2库连接到PostgreSQL数据库,并使用游标对象执行SQL查询语句。然后使用KafkaProducer对象将查询结果逐行发送到Kafka主题中。最后关闭数据库连接。 ### 回答3: 以下是将PG数据导入Kafka的简单示例代码: ```python import psycopg2 from kafka import KafkaProducer # 连接到PG数据库 conn = psycopg2.connect(host="localhost", port="5432", database="your_database", user="your_username", password="your_password") cur = conn.cursor() # 执行PG查询语句 cur.execute("SELECT * FROM your_table") # 连接到Kafka生产者 producer = KafkaProducer(bootstrap_servers='your_kafka_servers') # 逐行读取PG结果集并将数据写入Kafka for row in cur.fetchall(): # 将数据转换为字符串 data = ', '.join(str(x) for x in row) # 将数据发送到Kafka的主题 producer.send('your_topic', value=data.encode('utf-8')) # 关闭数据库连接和Kafka生产者 cur.close() conn.close() producer.close() ``` 请注意,上述代码仅提供了一个简单的框架,实际使用时还需要根据具体情况进行适当的修改和优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值