maxwell详细介绍

一、介绍

Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作为 JSON 的应用程序。

Maxwell的操作开销很低，只需要mysql和一个写入位置即可。它的常见用例包括ETL，缓存建立/过期，指标收集，搜索索引和服务间通信。

Maxwell为您提供了事件来源的一些好处，而不必重新构建整个平台。

Maxwell 拥有可对底层进行操作的操作栏(operational bar)，可生成一致、易于获取的更新流，你可以轻松“固定”流处理系统的一些优点，而无需通过整个代码库来添加（不可靠）检测点。 

• 常见用例包括 ETL、缓存构建/到期、指标收集、搜索索引和服务间通信。

• 可在表的初始加载过程中执行 SELECT * from table (bootstrapping)

• 支持在 master promotion 上的自动位置恢复

• 为 Kakfa 提供灵活的分区方案 —— 按数据库、表、主键或字段进行

Maxwell 通过充当完整的 mysql 副本来完成所有这些操作，包括用于 create/alter/drop 语句的 SQL 解析器。

源码地址：

https://github.com/zendesk/maxwell

对比canal

1. Maxwell 没有 Canal那种server+client模式，只有一个server把数据发送到消息队列或redis。
2. Maxwell 有一个亮点功能，就是Canal只能抓取最新数据，对已存在的历史数据没有办法处理。而Maxwell有一个bootstrap功能，可以直接引导出完整的历史数据用于初始化，非常好用。
3. Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。
4. Maxwell只支持json格式，而Canal如果用Server+client模式的话，可以自定义格式。
5. Maxwell比Canal更加轻量级。

二、前期准备

在数据库中建立一个maxwell库用于存储Maxwell的元数据。

CREATE DATABASE maxwell;

并且分配一个账号可以操作该数据库

GRANT ALL   ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY 'maxwell';

如果报错：

SHOW VARIABLES LIKE 'validate_password%';

set global validate_password_length=4;
set global validate_password_policy=0;

• 密码的长度是由validate_password_length决定的,但是可以通过以下命令修改
• validate_password_policy决定密码的验证策略,默认等级为MEDIUM(中等),可通过以下命令修改为LOW(低)

分配这个账号可以监控其他数据库的权限

GRANT  SELECT ,REPLICATION SLAVE , REPLICATION CLIENT  ON *.* TO maxwell@'%';

 三、实战

解压maxwell程序，

进入到maxwell目录

cp config.properties.example config.properties

vim maxwell.properties

修改如下配置 

回退到根目录下面：

/opt/hadoop/maxwell

然后启动maxwell

./bin/maxwell --config conf/config.properties

启动成功 

向mysql修改或者插入数据，启动kafka消费者，后收到数据

${kafka_home}/bin/kafka-console-consumer.sh --bootstrap-server  host166:9092,host167:9092,host169:9092 --topic  $1