Maxwell_kafka_bireme同步数据部署方案

原创 2018年04月15日 13:55:01

目录

Kafka部署... 1

Maxwel部署... 2

bireme部署... 2

注意事项... 3

 

Kafka部署

apt-get update

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

tar -xvf kafka_2.11-1.1.0.tgz

 

kafka分布式部署需要通过zookeeper进行注册

由于kafka已集成zookeeper环境,直接使用kafka内置的zookeeper即可

进入kafka目录

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

修改kafka配置文件

cp server.properties server0.properties

cp server.properties server1.properties

cp server.properties server2.properties

分别在以上三个配置文件中对如下参数进行修改

broker.id=0(3个文件需唯一)

listeners = PLAINTEXT://*:9092(kafka服务监听端口)

log.dirs=/app/data/kafka/9092(kafka数据日志文件存放地址,3个进程需分开)

修改完配置文件后进行kafka进程的启动

bin/kafka-server-start.sh config/server0.properties &

bin/kafka-server-start.sh config/server1.properties &

bin/kafka-server-start.sh config/server2.properties &

 

创建topic

zongsheng0 队列用于存放基础表更改信息

bin/kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 3 --partitions 1 --topic zongsheng0

order 队列用于存放订单表更改信息

bin/kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 3 --partitions 1 --topic order

##################

Maxwel部署

wget https://github.com/zendesk/maxwell/releases/download/v1.13.3/maxwell-1.13.3.tar.gz

tar -xvf maxwell-1.13.3.tar.gz

 

 

Maxwell模仿mysql主从复制拉取bin-log日志,所以每个maxwell进程相当于一个mysql从节点,相对应需要配置唯一的server_id

这里我们设计为两个maxwell进程

1读取bin-log中基础表信息

2读取bin-log中订单表信息

对应配置文件为zongsheng0.properties,order.properties

cp config.properties.examplezongsheng0.properties

cp config.properties.exampleorder.properties

对应配置文件修改

log_level=debug (日志级别)

producer=kafka   (生产者类型,我们使用的是kafka)

host=*  (源数据库mysql的地址)

user=root          (源数据库mysql的用户名)

password=*  (源数据库mysql的密码)

client_id=2           (maxwell进程的唯一ID)

replica_server_id=22    (maxwell复制bin-log的唯一ID,类似mysql从节点的server_id)

port=3306            (源数据库mysql的端口)

kafka.bootstrap.servers=&*:9092,*:9093,*:9094

(目标消息中间件kafka服务端的ip与端口,分布式部署时对应多个ip多个端口)

kafka_topic=zongsheng0(目标消息中间件kafka对应的topic队列)

include_dbs=zongsheng0(筛选源数据库bin-log中对应数据库存入kafka)

include_tables=abc     (筛选源数据库bin-log中对应表存入kafka)

 

启动2个maxwell进程分别拉取zongsheng0中的基础信息和余下多库中的订单信息

bin/maxwell –config zongsheng0.properties–daemon(指定配置文件,指定后台启动)

bin/maxwell –config order.properties–daemon(指定配置文件,指定后台启动)

 

###################

bireme部署

Bireme作为消费者从kafka队列中消费信息并插入对应的deepgreen数据库中

wget https://github.com/HashDataInc/bireme/releases/download/v1.0/bireme-1.0.0.tar.gz

tar –xvf bireme-1.0.0.tar.gz

bireme基于jsvc需安装jsvc

apt-get install jsvc

对应配置文件config.properties(基础配置)maxwell1.properties(表配置文件)

target.url =jdbc:postgresql://*:5432/zongsheng0

(对应deepgreen数据库的jdbc连接地址)

target.user = root

(对应deepgreen数据库的用户名)

target.passwd = *

(对应deepgreen数据库的用户名)

data_source = maxwell1

(数据源类型)

maxwell1.type = maxwell

maxwell1.kafka.server =*:9092,*:9093,*:9094

(kafka队列服务的ip+端口)

maxwell1.kafka.topic = order

(kafka的队列名)

maxwell1.kafka.groupid = bireme

(kafka消费者的组名)

-------------------------------------------

maxwell1.properties配置

(前面写源数据名+源表名,后面写目标数据库schemal+目标数据库表名)

zongsheng1.vem_order_info =public.vem_order_info

zongsheng2.vem_order_info =public.vem_order_info

zongsheng3.vem_order_info =public.vem_order_info

zongsheng4.vem_order_info =public.vem_order_info

zongsheng5.vem_order_info =public.vem_order_info

zongsheng6.vem_order_info =public.vem_order_info

zongsheng7.vem_order_info =public.vem_order_info

zongsheng8.vem_order_info =public.vem_order_info

zongsheng9.vem_order_info =public.vem_order_info

zongsheng10.vem_order_info =public.vem_order_info

命令

bin/bireme {start|stop|restart}

 

注意事项

Maxwell负责拉取mysql数据源的binlog日志,同时maxwell会在源数据库中创建名为maxwell的数据库用来存放源数据库的schemal、表名、字段名、bin-log-postion等信息

在源库进行flush logs操作时会导致maxwell找不到上一次的bin-log位置点

所以需要手动删除源数据库上的maxwell数据库,重启maxwell来获取源数据的信息

 

同上在源数据库进行定期数据清理时要注意以下几点

1关闭maxwell停止bin-log获取

2手动删除源数据库上的maxwell数据库

3删除源数据库的需要清理的数据

4在源数据库上重置bin-log,resetmaster

为Win 2000减负

 Windows 2000对计算机硬件各方面的要求都非常高,其中最“过分”的莫过于它对硬盘空间的要求了——采用默认方式安装完Windows 2000之后,它会占用大约800MB的磁盘空间,此后还会随着...
  • heyongzhou
  • heyongzhou
  • 2001-08-14 18:30:00
  • 657

利用Maxwell组件实时监听Mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费

利用Maxwell组件实时监听Mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费...
  • qq_30921461
  • qq_30921461
  • 2017-10-23 17:04:55
  • 1926

Introducing Maxwell, a mysql-to-kafka binlog processor

Introducing Maxwell, a mysql-to-kafka binlog processor 时间 2015-08-21 01:43:28  Planet MySQL 原文...
  • wulantian
  • wulantian
  • 2016-03-08 08:45:30
  • 1611

Maxwell_kafka_bireme同步数据部署方案

目录Kafka部署... 1Maxwel部署... 2bireme部署... 2注意事项... 3 Kafka部署apt-get update wget http://mirrors.tuna.ts...
  • kiddyt05
  • kiddyt05
  • 2018-04-15 13:55:01
  • 75

【技术实验】表格存储Tablestore准实时同步数据到Elasticsearch

点击有惊喜 实验背景 图书馆Q是一家大型图书馆,图书馆藏书众多,纸质图书600多万册,电子图书7000多万册,总数有八千多万册,这些图书之前都是人工检索维护的,现在需要做一...
  • yunqishequ1
  • yunqishequ1
  • 2017-12-01 15:01:51
  • 233

实时抓取MySQL的更新数据到Hadoop canal

转载自: http://bigdatadecode.club/实时抓取MySQL的更新数据到Hadoop.html 关系型数据库和Hadoop生态的沟通越来越密集,时效要求也越来越高...
  • u012985132
  • u012985132
  • 2017-07-11 14:28:14
  • 4157

MySQL 主从同步配置

MySQL 主从同步配置 1. 主从同步的定义 主从同步使得数据可以从一个数据库服务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(s...
  • qq_26870933
  • qq_26870933
  • 2018-01-13 23:33:31
  • 139

基于Ansoft的永磁<em>同步</em>电机建模与仿真

2013-04-26 上传大小:1.44MB Ansoft永磁<em>同步</em>电机建模仿真 使用Ansoft <em>Maxwell</em>的建立电机模型步骤和仿真步骤介绍,仅供参考。综合评分:4 收藏(1)评论(1)举报 所需...
  • 2018年04月16日 00:00

基于日志的同步数据一致性和实时抽取

宜信技术研发中心架构师 目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBR...
  • oqqSSH
  • oqqSSH
  • 2017-10-29 18:09:45
  • 967

如何同步TableStore数据到Elasticsearch

点击有惊喜 图书馆 图书馆Q是一家大型图书馆,图书馆藏书众多,纸质图书600多万册,电子图书7000多万册,总数有八千多万册,这些图书之前都是人工检索维护的,现在需要做一个...
  • weixin_40674835
  • weixin_40674835
  • 2017-11-21 14:38:39
  • 103
收藏助手
不良信息举报
您举报文章:Maxwell_kafka_bireme同步数据部署方案
举报原因:
原因补充:

(最多只允许输入30个字)