flume
MiniCTO
多努力一点,多赚点钱,多运动。
展开
-
apache flume单机安装、运行
最近项目打算做一个日志收集功能,打算用flume,在这里开一个系列博客,记录我在实战用flume如何使用 官方下载flume,截止写这个博客时,官方最新1.7https://flume.apache.org下载到服务器,解压出来。接在在conf文件夹中创建flume.conf文件,在flume.conf中写入以下sample内容,内容来自官网,只是用来做测试使用,请勿 放到生产# example.c原创 2016-12-14 18:12:06 · 664 阅读 · 0 评论 -
apache flume启动报log4j错误
错误内容如下[root@esslog-shqs-4 conf]# flume-ng agent --conf conf --conf-file flume.conf --name a1 -Dflume.root.logger=INFO,console Info: Including Hive libraries found via () for Hive access + exec /service原创 2016-12-14 18:16:37 · 4505 阅读 · 0 评论 -
apache flume-ng做agent拦截器可以输出IP
最近在做flume日志收集工作,需要将每台日机器上的日志收集,然后发送到kafka,接着有专门的日志处理程序从kafka中进行消费,其中有个问题就是在消费的时候需要知道当前的日志来自哪台机器,查阅了flume文档发现没有提供该功能,因此就自己定一个flume拦截器。基本的流程就是将日志内容从flume event中取出,然后拼接上自定义的IP,然后再将body设置到event中。 架构部署图如下原创 2016-12-26 12:09:07 · 1792 阅读 · 0 评论 -
log4j结合apache flume输出日志到apache kafka
flume是cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 在最近的项目上,需要统一收集日志,然后将日志发送到kafka,架构流程如下: 在每个srv中,通过log4j中flume appender,将日志输出到kafka原创 2017-01-04 23:08:29 · 2244 阅读 · 0 评论 -
apache flume基础应用
最近项目打算做一个日志收集功能,打算用flume,在这里开一个系列博客,记录我在实战用flume如何使用 flume版本:官方1.7jdk版本:官方1.8操作系统:centos 7 apache flume单机安装、运行 常见问题 启动缺少log4j原创 2016-12-14 18:13:22 · 641 阅读 · 0 评论