Maxwell_kafka_bireme同步数据部署方案

目录

Kafka部署... 1

Maxwel部署... 2

bireme部署... 2

注意事项... 3

 

Kafka部署

apt-get update

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

tar -xvf kafka_2.11-1.1.0.tgz

 

kafka分布式部署需要通过zookeeper进行注册

由于kafka已集成zookeeper环境，直接使用kafka内置的zookeeper即可

进入kafka目录

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

修改kafka配置文件

cp server.properties server0.properties

cp server.properties server1.properties

cp server.properties server2.properties

分别在以上三个配置文件中对如下参数进行修改

broker.id=0（3个文件需唯一）

listeners = PLAINTEXT://*:9092（kafka服务监听端口）

log.dirs=/app/data/kafka/9092（kafka数据日志文件存放地址，3个进程需分开）

修改完配置文件后进行kafka进程的启动

bin/kafka-server-start.sh config/server0.properties &

bin/kafka-server-start.sh config/server1.properties &

bin/kafka-server-start.sh config/server2.properties &

 

创建topic

zongsheng0 队列用于存放基础表更改信息

bin/kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 3 --partitions 1 --topic zongsheng0

order 队列用于存放订单表更改信息

bin/kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 3 --partitions 1 --topic order

##################

Maxwel部署

wget https://github.com/zendesk/maxwell/releases/download/v1.13.3/maxwell-1.13.3.tar.gz

tar -xvf maxwell-1.13.3.tar.gz

 

 

Maxwell模仿mysql主从复制拉取bin-log日志，所以每个maxwell进程相当于一个mysql从节点，相对应需要配置唯一的server_id

这里我们设计为两个maxwell进程

1读取bin-log中基础表信息

2读取bin-log中订单表信息

对应配置文件为zongsheng0.properties，order.properties

cp config.properties.examplezongsheng0.properties

cp config.properties.exampleorder.properties

对应配置文件修改

log_level=debug （日志级别）

producer=kafka   （生产者类型，我们使用的是kafka）

host=*  （源数据库mysql的地址）

user=root          （源数据库mysql的用户名）

password=*  （源数据库mysql的密码）

client_id=2           （maxwell进程的唯一ID）

replica_server_id=22    （maxwell复制bin-log的唯一ID，类似mysql从节点的server_id）

port=3306            （源数据库mysql的端口）

kafka.bootstrap.servers=&*:9092,*:9093,*:9094

（目标消息中间件kafka服务端的ip与端口，分布式部署时对应多个ip多个端口）

kafka_topic=zongsheng0（目标消息中间件kafka对应的topic队列）

include_dbs=zongsheng0（筛选源数据库bin-log中对应数据库存入kafka）

include_tables=abc     （筛选源数据库bin-log中对应表存入kafka）

 

启动2个maxwell进程分别拉取zongsheng0中的基础信息和余下多库中的订单信息

bin/maxwell –config zongsheng0.properties–daemon（指定配置文件，指定后台启动）

bin/maxwell –config order.properties–daemon（指定配置文件，指定后台启动）

 

###################

bireme部署

Bireme作为消费者从kafka队列中消费信息并插入对应的deepgreen数据库中

wget https://github.com/HashDataInc/bireme/releases/download/v1.0/bireme-1.0.0.tar.gz

tar –xvf bireme-1.0.0.tar.gz

bireme基于jsvc需安装jsvc

apt-get install jsvc

对应配置文件config.properties（基础配置）maxwell1.properties（表配置文件）

target.url =jdbc:postgresql://*:5432/zongsheng0

（对应deepgreen数据库的jdbc连接地址）

target.user = root

（对应deepgreen数据库的用户名）

target.passwd = *

（对应deepgreen数据库的用户名）

data_source = maxwell1

（数据源类型）

maxwell1.type = maxwell

maxwell1.kafka.server =*:9092,*:9093,*:9094

（kafka队列服务的ip+端口）

maxwell1.kafka.topic = order

（kafka的队列名）

maxwell1.kafka.groupid = bireme

（kafka消费者的组名）

-------------------------------------------

maxwell1.properties配置

（前面写源数据名+源表名，后面写目标数据库schemal+目标数据库表名）

zongsheng1.vem_order_info =public.vem_order_info

zongsheng2.vem_order_info =public.vem_order_info

zongsheng3.vem_order_info =public.vem_order_info

zongsheng4.vem_order_info =public.vem_order_info

zongsheng5.vem_order_info =public.vem_order_info

zongsheng6.vem_order_info =public.vem_order_info

zongsheng7.vem_order_info =public.vem_order_info

zongsheng8.vem_order_info =public.vem_order_info

zongsheng9.vem_order_info =public.vem_order_info

zongsheng10.vem_order_info =public.vem_order_info

命令

bin/bireme {start|stop|restart}

 

注意事项

Maxwell负责拉取mysql数据源的binlog日志，同时maxwell会在源数据库中创建名为maxwell的数据库用来存放源数据库的schemal、表名、字段名、bin-log-postion等信息

在源库进行flush logs操作时会导致maxwell找不到上一次的bin-log位置点

所以需要手动删除源数据库上的maxwell数据库，重启maxwell来获取源数据的信息

 

同上在源数据库进行定期数据清理时要注意以下几点

1关闭maxwell停止bin-log获取

2手动删除源数据库上的maxwell数据库

3删除源数据库的需要清理的数据

4在源数据库上重置bin-log，resetmaster