该博客介绍了如何在linux系统中，利用flume的1.8.0版本和flume-ng-sql-source插件从mysql数据库读取数据，再通过kafka的0.10.2.0版本将数据发送到指定主题。首先，安装flume和kafka，然后下载并添加所需的flume插件到lib目录，接着配置flume的flume-mysql.conf文件，设置数据库连接和查询参数，最后启动flume agent进行数据传输。
linux系统下flume读取mysql数据源并发送给kafka
flume版本：apache-flume-1.8.0-bin.tar
kafka版本：kafka_2.11-0.10.2.0
所需插件：flume-ng-sql-source-1.4.4 和 mysql-connector-java-5.1.43-bin注意与mysql版本一致
kafka和flume可在官方下载
flume-ng-sql-source-1.4.4下载地址：https://pan.baidu.com/s/1mDETw5CH2W5DoP7rLXoyRA 密码：36nf
mysql-connector-java-5.1.43-bin下载地址：https://pan.baidu.com/s/1Wez_2jCwvVScAyFZqbrPzg 密码：preb
第一步:先将flume安装包apache-flume-1.8.0-bin.tar在linux操作系统解压
第二步：将两个插件拷贝到lib目录下
第三步：在conf目录下新文件flume-mysql.conf并粘入如下内容
a1.channels = c1
a1.sources = s1
a1.sinks = k1
###########sources#################
最低0.47元/天 解锁文章
扫一扫
1034
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
