![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flum
Flum应用
人间小鲸鱼
这个作者很懒,什么都没留下…
展开
-
Flum的拦截器、通道选择器、Sink Group的使用
Interceptor(拦截器)注:Flume中拦截器组件是建立在Source和Channel之间的一个可选组件,主要的作用是对采集到的Events(事件对象)进行预处理增强功能。Timestamp在Events事件头中添加一个时间戳信息a1.sources.r1.interceptors = i1a1.sources.r1.interceptors.i1.type = timestampHost在Events事件头中添加一个Host/IP信息a1.sources.r1.inte原创 2020-05-20 09:10:21 · 316 阅读 · 0 评论 -
Flum的案例channel和Sink组件
Simple Example收集网络端口产生的访问数据,并且输出到服务的控制台窗口准备配置文件[root@HadoopNode00 flume]# cd apache-flume-1.7.0-bin/[root@HadoopNode00 apache-flume-1.7.0-bin]# vi conf/simple.properties[root@HadoopNode00 apache-flume-1.7.0-bin]# vi conf/simple.properties# example.原创 2020-05-19 08:48:03 · 215 阅读 · 0 评论 -
Flum的语法详解以及source
一、概述大数据需要解决的三个问题:采集、存储、计算另外一个比较主流的大数据处理的技能栈ElasticSerach Stack: ElasticSearch(存储)、Kibana(计算结果的可视化展示)、Logstash(数据采集和简单处理)**Apache Flume是一个分布式、可靠的、高可用的数据采集、聚合系统,将海量的日志数据从不同的数据源移动到一个中央的存储系统中。**用一句话总结:Flume不生产数据,它只是数据的搬运工。二、语法详解# example.conf: A single-原创 2020-05-18 08:47:28 · 416 阅读 · 1 评论