flume
anickname
专注大数据技术
展开
-
flume架构介绍!
一。什么是flume? 一个日志收集工具,具有分布式,高可靠,高可用等特点。接受各类型数据发送方,对数据可进行简单的处理,传输到各类数据接收方。 二。架构 source原创 2016-01-20 19:05:05 · 1182 阅读 · 0 评论 -
flume实际应用架构图
网上看的感觉不错,收藏一下。 采用软连接链接日志源文件,source端使用spooldir,根据是否需要持久化选择channel类型内存和文件,应该再加上一个JDBC。sink端使用avro协议发送至下一个agent。转载 2016-01-29 11:08:15 · 695 阅读 · 0 评论 -
flume自定义interceptor和hbase sink
在flume的实际应用中,可能会遇到对日志进行简单的过滤和处理。flume在source端有其内置的interceptor类可以对主机、IP、静态标记做处理,如果想自定义处理逻辑该如何处理?在不规则的日志数据进入hbase之前想做处理又该如何处理? 1.自定义source 在eclipse(或Myeclipse)中,引入flume的jar包(下载flume解压后的lib目录中),编写自定义类,原创 2016-01-29 15:55:33 · 1595 阅读 · 0 评论