1. 安装前准备工作
(1) 设置密码权限校验规则
set global validate_password_policy=0;
set global validate_password_length=4;
(2) 在mysql中创建一个数据库, 用于存储maxwell的元数据
create database `maxwell` character set 'utf8' collate 'utf8_general_ci';
(3) 创建一个maxwell用户
grant all on maxwell.* to 'maxwell'@'%' identified by 'maxwell';
(4) 给maxwell 用户分配权限
GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';
FLUSH PRIVILEGES;
2. 安装Maxmall
(1)下载
mkdir -p /opt/software/maxwell
cd /opt/software/maxwell
wget https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz
(2)解压
/opt/software/maxwell » tar -zxvf maxwell-1.27.1.tar.gz -C /opt/module/
3. 配置Maxmall
(1)进入到安装文件目录
cd /opt/module/maxwell-1.27.1
(2)创建config.properties 文件
cp config.properties.example config.properties
(3)编辑配置文件
# tl;dr config
log_level=info
producer=kafka
kafka.bootstrap.servers=hadoop162:9092,hadoop163:9092,hadoop164:9092
host=hadoop162
user=maxwell
password=maxwell
client_id=maxwell_1
kafka_topic=maxwell_gmall_db
producer_partition_by=primary_key
4. 启动maxwell
# 前台启动
bin/maxwell –config config.properties
# 后台启动
bin/maxwell –config config.properties –daemon
5. 测试
确认kafka是否收到数据
(1)启动一个kafka终端消费者
kafka-console-consumer.sh --bootstrap-server hadoop162:9092 -topic maxwell_gmall_db
(2)向mysql中插入数据,然后看消费者终端是否有打印
(3)打印的数据内容
6. 打完收工
~~~~ 洗一把油腻腻的脸 ~~~ 顺便活动下筋骨