实时抽取mysql的binlog日志到kafka的详细配置方法

7 篇文章 0 订阅

完美使用canal实时抽取binlog日志到kafka的详细配置

# 第一步 数据库my.ini参数 设置binlog_format=ROW

# 第二步 数据库赋权
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

select version()
show grants for 'canal' ;
show binary logs
show variables like 'binlog_format';
show variables like '%server_id%';
show variables like 'log_bin';
SHOW MASTER STATUS
show SLAVE STATUS

# 第三步 canal server里配置源数据库 目标库 MQ等地址
https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart


以下表示三个库的某些表分别发送到三个kafka中,需要解压并开启三个canal服务端
###################################
node1-main/
	canal.serverMode = kafka
	canal.id = 1
	canal.ip =
	canal.port = 11111
	canal.metrics.pull.port = 11112
	#kafka的topic名称
	canal.mq.topic=canal_main
	#数据库ip端口
	canal.instance.master.address=172.21.xx.33:3306
	#需要发送的库和表数据用(库\\.表)表示
	canal.instance.filter.regex=fj_prod_main\\.class_pub,fj_prod_main\\.class_pub_student,fj_prod_main\\.class_pub_task,fj_prod_main\\.parent_children,fj_prod_main\\.school,fj_prod_main\\.user_info_basic,fj_prod_main\\.user_info_expand,fj_prod_main\\.user_info_ability,fj_prod_main\\.user_sign_author,fj_prod_main\\.user_vip_valid_time
	
node2-data/
	canal.serverMode = kafka
	canal.id = 2
	canal.ip =
	canal.port = 11121
	canal.metrics.pull.port = 11122

	canal.mq.topic=canal_data
	canal.instance.master.address=172.21.xx.49:3306
	canal.instance.filter.regex=fj_prod_data\\.behavior_read_history,fj_prod_data\\.behavior_answer_record,fj_prod_data\\.essay_appreciate,fj_prod_data\\.level,fj_prod_data\\.summary,fj_prod_data\\.summary_collect,fj_prod_data\\.summary_essay,fj_prod_data\\.summary_mark,fj_prod_data\\.summary_share,fj_prod_data\\.topic

node3-stat/
	canal.serverMode = kafka
	canal.id = 3
	canal.ip =
	canal.port = 11131
	canal.metrics.pull.port = 11132

	canal.mq.topic=canal_stat
	canal.instance.master.address=172.21.xx.38:3306
	canal.instance.filter.regex=fj_prod_stats\\.eval_history

已经配好并且压缩的canal包下载地址:https://download.csdn.net/download/xiaolong_4_2/10867221
下载地址二:https://download.csdn.net/download/xiaolong_4_2/10867252

解压并且稍微修改即可使用。

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值