Flume
文章平均质量分 81
young-ming
路漫漫其修远兮 吾将上下而求索
个人QQ:284407890
个人github:https://github.com/xmingyang
展开
-
Flume NG 简介及配置实战
1、Flume 的一些核心概念: 1.1 数据流模型 1.2 高可靠性 1.3 可恢复性 2、Flume 整体架构介绍 2.1 Exec source 2.2 Spooling Directory Source 3、常用架构、功能配置示例 3.1 先来个简单的:单节点 Flume 配置 3.2 单节点 Flume 直接写入 HDFS 3.3 来一个常见架构:多 agent 汇聚转载 2015-11-11 11:33:23 · 596 阅读 · 0 评论 -
flume文件名interceptor
从文件名提取日期、小时信息,决定数据发送到hdfs哪天哪小时的分区目录。 需要自定义一个拦截器 package interceptor; import java.util.List; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; import原创 2015-11-11 11:58:49 · 3261 阅读 · 0 评论