canal搭建-简单使用，flume配合kafka使用

canal搭建-简单使用，flume配合kafka使用

开启mysql binlog

默认没有开启

开启binlog之后mysql的性能会手动影响

1、修改mysql配置文件/etc/my.cnf

# 如果配置文件不存在，复制一个过来
cp /usr/share/mysql/my-medium.cnf /etc/my.cnf

vim /etc/my.cnf 

# 在配置文件中增加二配置
# 需要将配置放在[mysqld]后面
# 打开binlog
log-bin=mysql-bin
# 选择ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定义，不要和canal的slaveId重复
server_id=1

2、重启mysql

service mysqld restart

# 查看mysql binlog文件
cd /var/lib/mysql
mysql-bin.000001

# 改了配置文件之后，重启MySQL，使用命令查看是否打开binlog模式：
mysql -uroot -p123456
show variables like 'log_bin';

搭建Canal

2、上传解压，上传到soft目录

# 创建解压目录
mkdir canal
# 解压到指定目录
tar -xvf canal.deployer-1.1.4.tar.gz -C canal

3、修改配置文件conf/example/instance.properties

vim conf/example/instance.properties

# mysql 地址
canal.instance.master.address=master:3306
# mysql用户名
canal.instance.dbUsername=root
# mysql密码
canal.instance.dbPassword=123456
# 数据写入kafka 的topic名称, 所有的数据写入同一个topic
canal.mq.topic=example
# 为每一个表自动创建一个topic
# 监控bigdata数据库，不同的表发送到表名的topic上, topic命令方式bigdata.student
canal.mq.dynamicTopic=bigdata\\..*

4、修改配置文件conf/canal.properties

vim conf/canal.properties

# zk地址 
canal.zkServers = master:2181,node1:2181,node2:2181
# 数据保存到kafka
canal.serverMode = kafka
# kafka集群地址
canal.mq.servers = master:9092,node1:9092,node2:9092

5、启动canal

cd /usr/local/soft/canal/bin/
# 启动canal
./startup.sh

# 查看启动日志
cd /usr/local/soft/canal/logs
cat canal/*
cat example/*

5、测试

在test数据库创建一个订单表，并且执行几个简单的DML：

-- 登录mysql
mysql -uroot -p123456

-- 切换数据库
use `bigdata`;

-- 创建表
CREATE TABLE `order`
(
    id          BIGINT UNIQUE PRIMARY KEY AUTO_INCREMENT COMMENT '主键',
    order_id    VARCHAR(64)   COMMENT '订单ID',
    amount      DECIMAL(10, 2) COMMENT '订单金额',
    create_time DATETIME       COMMENT '创建时间',
    UNIQUE uniq_order_id (`order_id`)
) COMMENT '订单表';

-- 插入数据

INSERT INTO `order`(order_id, amount) VALUES ('10087', 999);
UPDATE `order` SET amount = 99 WHERE order_id = '10087';
DELETE  FROM `order` WHERE order_id = '10087';

6、可以利用Kafka的kafka-console-consumer消费数据

# 查看是否自动创建topic
kafka-topics.sh --list  --zookeeper  master:2181,node1:2181,node2:2181
# 消费数据
kafka-console-consumer.sh --bootstrap-server master:9092,node1:9092,node2:9092 --from-beginning --topic bigdata17.order

可以在idea中格式化json格式的数据 -- Ctrl+Alt+L

Flume监控文件打到kafka中

1. 编写 . conf 配置文件

   agent.sources=s1
   agent.channels=c1
   agent.sinks=k1
   
   agent.sources.s1.type=exec
   
   #监听文件地址
   agent.sources.s1.command=tail -F  /usr/flume/log.log
   
   
   agent.channels.c1.type=memory
   agent.channels.c1.capacity=10000
   agent.channels.c1.transactionCapacity=100
   
   #设置Kafka接收器
   agent.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
   #设置Kafka的broker地址和端口号
   agent.sinks.k1.brokerList=master:9092,node1:9092,node2:9092
   
   #设置Kafka的Topic   如果topic不存在会自动创建一个topic,默认分区为1 副本为1
   agent.sinks.k1.topic=flume
   
   #设置序列化方式
   agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
   
   #将三个主件串联起来
   agent.sources.s1.channels=c1
   agent.sinks.k1.channel=c1
   
   #mkdir /tmp/flume
   #echo 'java' >> /usr/flume/log.log
   #flume-ng agent -n agent -f ./FlumeToKafka.properties -Dflume.root.logger=DEBUG,console
   #kafka-console-consumer.sh --zookeeper  master:2181,node1:2181,node2:2181  --from-beginning --topic flume

2. 查看flume是否启动成功！

3. 向log.log文件中echo数据，查看结果