Flume
beautiful_huang
万般皆苦 唯有自度
展开
-
【Flume】Flume 正则拦截器
Flume中常用Kafka Source、正则拦截器、HDFS Sink,这里把需要注意的点做一下总结,并实现数据根F据事件时间和事件类型落到HDFS。 Kafka Source 配置 # source类型 agent.sources.s1.type = org.apache.flume.source.kafka.KafkaSource # kafka brokers列表 agent.source...原创 2020-02-10 16:09:45 · 1158 阅读 · 0 评论 -
【Flume】Flume入门
Flume 简介 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.9...原创 2020-02-07 08:45:56 · 502 阅读 · 0 评论