第二章 Maxwell 安装部署

快速环境部署

2.1 Maxwell 安装部署

2.1.1 安装地址

（1）Maxwell 官网地址：http://maxwells-daemon.io/

（2）文档查看地址：http://maxwells-daemon.io/quickstart/

2.1.2 安装部署

（1）软件基础，读者需要提前安装好 kafka 和 MySQL，此文档不再赘述。

（2）上传 maxwell-1.29.2.tar.gz 到 /opt/software 下

（3）解压 maxwell-1.29.2.tar.gz 的安装包到 /opt/module 下

[root@hdp101 software]$ tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/

2.1.3 MySQL 环境准备

（1）修改 mysql 的配置文件，开启 MySQL Binlog 设置

[root@hdp101 software]$ sudo vim /etc/my.cnf

**在[mysqld]模块下添加一下内容**
[mysqld]
server_id=1
log-bin=mysql-bin
binlog_format=row
#binlog-do-db=test_maxwell
#binlog-do-db=gmall
#binlog-do-db=test_maxwell2

**并重启 Mysql 服务**
[vagrant@hdp101 software]$ sudo systemctl restart mysqld

**登录 mysql 并查看是否修改完成**
[vagrant@hdp101 ~]$ mysql -uroot -p123456
mysql> show variables like '%binlog%';

**查看下列属性**
binlog_format | ROW

（2）进入/data/mysql 目录，查看 MySQL 生成的 binlog 文件

[root@hdp101 ~]$ cd /data/mysql
[vagrant@hdp101 mysql]$ sudo ls -l
总用量 188500
-rw-r-----. 1 mysql mysql 154 11 月 17 16:30 mysql-bin.000001
-rw-r-----. 1 mysql mysql 19 11 月 17 16:30 mysql-bin.index

创建测试数据库
create database test_maxwell character set utf8 collate utf8_general_ci;

创建测试表
create table test_maxwell.test(id bigint, name varchar(200));

重启mysql，文件滚动

注：MySQL 生成的 binlog 文件初始大小一定是 154 字节，然后前缀是 log-bin 参数配置的，后缀是默认从.000001，然后依次递增。除了 binlog 文件文件以外，MySQL 还会额外生产一个.index 索引文件用来记录当前使用的 binlog 文件。

2.1.4 初始化 Maxwell 元数据库

（1）在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

[root@hdp101 module]$ mysql -uroot -p199037
mysql> CREATE DATABASE maxwell;

（2）设置 mysql 用户密码安全级别

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;

（3）分配一个账号可以操作该数据库

mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY 'maxwell';

（4）分配这个账号可以监控其他数据库的权限

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO maxwell@'%';

（5）刷新 mysql 表权限

mysql> flush privileges;

2.1.5 Maxwell 进程启动

Maxwell 进程启动方式有如下两种：

（1）使用命令行参数启动 Maxwell 进程

[root@hdp101 maxwell]$ bin/maxwell --user='maxwell'  \
--password='maxwell' \
--host='hdp103' \
--producer=stdout

• --user ：连接 mysql 的用户
• --password ：连接 mysql 的用户的密码
• --host ：mysql 安装的主机名
• --producer ：生产者模式(stdout：控制台 kafka：kafka 集群)

（2）修改配置文件，定制化启动 Maxwell 进程

[root@hdp101 maxwell]$ cp config.properties.example config.properties

[root@hdp101 maxwell]$ vim config.properties
[root@hdp101 maxwell]$ bin/maxwell --config ./config.properties