需求是用 flume 监控日志文件,然后将文件的内容存放在 MySQL 数据库中。
本文结构(注意:环境都是在 CentOS 7(192.168.5.105)下)
flume1.7.0 的安装和配置
MySQL 表设计
MysqlSink 插件的编写
连接服务器远程调试
打包更新到服务器
flume1.7.0 的安装和配置
官网下载 flume1.7.0,我这里都放到自己的共享盘里面,方便自己也方面别人:
上传到 CentOS 7 指定目录:
解压文件:
tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /home/common/
cd ../common/
mv apache-flume-1.7.0-bin/ flume-1.7.0
cd flume-1.7.0/conf
cp flume-conf.properties.template flume-conf.properties
vi flume-conf.properties
配置如下:
#配置 Agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#配置 Source
a1.sources.r1.type =