flume存储到mysql_Flume 读取日志文件数据存入到 Mysql

本文介绍了如何在CentOS 7环境下,使用Flume 1.7.0监控日志文件并将数据存入MySQL数据库。详细步骤包括Flume的安装配置、MySQL表设计、自定义MysqlSink插件、远程调试和解决SSL连接警告。在配置过程中,特别提到了transactionCapacity和batchSize的调整,以及异常日志的合并处理策略。
摘要由CSDN通过智能技术生成

需求是用 flume 监控日志文件,然后将文件的内容存放在 MySQL 数据库中。

本文结构(注意:环境都是在 CentOS 7(192.168.5.105)下)

flume1.7.0 的安装和配置

MySQL 表设计

MysqlSink 插件的编写

连接服务器远程调试

打包更新到服务器

flume1.7.0 的安装和配置

官网下载 flume1.7.0,我这里都放到自己的共享盘里面,方便自己也方面别人:

上传到 CentOS 7 指定目录:

97eba53df6b54000eecb303176691867.png

解压文件:

tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /home/common/

cd ../common/

mv apache-flume-1.7.0-bin/ flume-1.7.0

cd flume-1.7.0/conf

cp flume-conf.properties.template flume-conf.properties

vi flume-conf.properties

配置如下:

#配置 Agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

#配置 Source

a1.sources.r1.type =

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值