maxwell安装部署--抓取相应的表

maxwell安装部署

1 在MySQL中建立一个maxwell库用于存储Maxwell的元数据

[atguigu@hadoop102 module]$ mysql -uroot -p123456
mysql> CREATE DATABASE maxwell ;

分配一个账号可以操作该数据库

GRANT ALL   ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';

分配这个账号可以监控其他数据库的权限

GRANT  SELECT ,REPLICATION SLAVE , REPLICATION CLIENT  ON *.* TO maxwell@'%';

解压maxwell

[atguigu@hadoop102 software]$ tar -zxvf maxwell-1.25.0.tar.gz -C /data/module/

maxwell启动命令详解

需求抓取gmall的order_info，order_detail，user_info表，其他表都不抓取

bin/maxwell --user='maxwell' --password='123456' --host='hadoop102' --client_id=maxwell_1 \
--producer=kafka --kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092 --kafka_topic=ods_base_db_m --kafka_version=2.4.1 \
--filter='exclude: *.*, include: gmall.order_info, include: gmall.order_detail,include: gmall.user_info'

--user 用户名 在mysql授权的用户
--password 密码
--host maxwell运行的主机地址
--client_id 客户端版本ID
--producer=kafka  指定发给kafka
--kafka.bootstrap.servers:kafka的集群地址
--kafka_topic 主题
--kafka_version 指定kafka的 版本，需要把对应版本的jar包复制到lib/kafka-client目录下面

cp /data/module/kafka_2.11-2.4.1/libs/kafka-clients-2.4.1.jar /data/module/maxwell-1.25.0/lib/kafka-clients/

--filter 指定需要抓取的表
  exclude: *.* 表示排除所有库的所有表
  include: gmall.order_info 表示抓取gmall数据库的order_info表