![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
晟翊zzZ
这个作者很懒,什么都没留下…
展开
-
Flume 部署及相关案例
一、Flume 简介 1.Flume 提供了一个分布式的,可靠的,对大量数据的日志高效收集,聚集,移动的服务,Flume 只能在 Unix 环境下运行。 2.Flume 基于流式架构,容错性强,也结构简单。 3.Flume,Kafka 用来实时数据收集,Spark,Flume 用来实时处理数据,impala 用来实时查询。 二、Flume 角色 1.source 用于采集数据,source 是产...原创 2019-09-07 15:26:33 · 153 阅读 · 0 评论 -
Flume 扇入(fanin)扇出(fanout)案例
案例三、Flume 与 Flume 之间数据传递,多 Flume 汇总数据到单 Flume。 目标:flume-fanin-1监控某一个端口的数据流,flume-fanin-2 监控文件,flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3,flume-fanin-3 将最终数据写入到HDFS。 分步实现 1.创建 flume-fanin-1.co...原创 2019-09-08 13:33:42 · 1437 阅读 · 0 评论 -
Flume 常用拦截器
Flume 拦截器 时间戳拦截器 flume-timestamp.conf #1.定义agent名, source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks = k1 #2.具体定义source a4.sources.r1.type = spooldir a4.sources.r1.spoolDir = /opt/wind...原创 2019-09-09 22:34:58 · 801 阅读 · 0 评论