flume
清风千雨
大数据,java后端
展开
-
flume安装与监控部署
Flume概述 1)官网地址 http://flume.apache.org/ 2)日志采集工具 Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于 流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错 能力。它使用简单的可扩展数据模型,允许在线分析应用程序。 3)为什么需要flume 数据从哪里来? -》爬虫 -》日志...原创 2018-11-24 13:26:17 · 598 阅读 · 0 评论 -
Flume案例:多个channle/sink
多个channel/sink 需求:监控hive.log文件,用同时产生两个channel,一个channel对应的sink存储到hdfs中, 另外一个channel对应的sink存储到本地。 配置: 1)flumejob_1.conf # name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channel...原创 2018-11-24 16:10:05 · 753 阅读 · 0 评论 -
flume配置详解
sources的type类型 数据源为 linux的文件: 例如: a1.sources.r1.type = exec a1.sources.r1.command = tail -F /tmp/root/hive.log a1.sources.r1.shell = /bin/bash -c 例如: a1.sources.r1.type = exec a1.sources.r1.command =...原创 2019-03-11 15:04:14 · 595 阅读 · 0 评论 -
Flume中的拦截器(Interceptor)
Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器: Timestamp Interceptor; Host Interceptor; Static Intercep...转载 2019-03-11 15:23:54 · 268 阅读 · 0 评论