Flume
犀牛_2046
路漫漫其修远兮,吾将上下而求索!
展开
-
Flume FileChannel优化(扩展)实践指南
目录1. 应用场景2. Flume实例架构3. Flume调试及优化扩展3.1 ScribeSource3.2 FileChannel3.2.1 默认FileChannel3.2.2 扩展FileChannel3.2.3 KafkaSink4.Flume Todo5. 生产环境部署本文系微博运维数据平台(DIP)在Flume方面的优化扩展经验总结,在使...转载 2019-12-06 23:25:07 · 749 阅读 · 0 评论 -
Flume Channel Selectors使用
前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类,稍微改动了一下JSON字符串的输出,将以前requestUrl中的"reporter-api"改为了"image-api",以便和WriteLog类的输出稍微区分开来,如下:package com.besttone.flu...转载 2019-12-06 23:24:53 · 203 阅读 · 0 评论 -
Flume拦截器
目录摘要:一、拦截器的种类介绍1、Timestamp Interceptor(时间戳拦截器)2、Host Interceptor(主机拦截器)3、静态拦截器(Static Interceptor)4、正则过滤拦截器(Regex Filtering Interceptor)5、Regex Extractor Interceptor6、UUID Interceptor...转载 2019-12-05 15:45:51 · 531 阅读 · 0 评论 -
Flume数据事务传输分析
Flume数据传输事务分析本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级别的数据恢复,但是一般情况下,不断电MemoryChannel是不会丢数...转载 2019-12-05 12:51:45 · 156 阅读 · 0 评论 -
Flume基本使用
Flume学习总结 ...转载 2019-12-05 11:53:04 · 114 阅读 · 0 评论 -
Flume开发中常用组件source,channel,sink等配置
实际开发中Flume中常用的source源,sink,channel,intercepertor等介绍,而实际上关于agent代理中设置选项有很多,具体要到官网去查看。组件使用介绍 source数据源Avro监听由Avro sink 或F...转载 2019-12-05 11:43:52 · 140 阅读 · 0 评论 -
Flume的拦截器和分区使用
实际开发中,为了对数据集的方便查询和使用,大型数据集常常被组织为分区(partition)。Flume事件的数据通常按时间来分区。比如把flume监听的数据写入到hdfs中时,就可以进行按时间分区,只需要对hdfs.path的属性进行设置如下: agent.sinks.sink1.path=/data/flume/year=%Y/month=%...转载 2019-12-05 11:40:42 · 264 阅读 · 0 评论 -
Flume的事务机制和可靠性
实际开发中,或者在面试中,总会碰到诸如Flume如何保证数据传输的完整性?一:Flume的事务机制所以这就不得不提Flume的事务机制(类似数据库的事务机制):Flume使用两个独立的事务分别负责从soucrce到channel,以及从channel到sink的事件传递。比如以上面一篇博客中的事例为例:spooling directory source 为文件的每一行创...转载 2019-12-05 11:37:17 · 156 阅读 · 0 评论 -
Flume架构以及应用介绍
目录(一)Flume架构介绍1、Flume的概念(二)flume应用—日志采集在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程:从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。...转载 2019-12-05 11:22:31 · 78 阅读 · 1 评论 -
Flume原理解析
目录一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4.1、Flume拦截器4.2、Flume数据流4.3、Flume可靠性五、Flume使用场景5.1、多个agent顺序连接5.2、多个Agent的数据汇聚...转载 2019-12-05 09:50:49 · 272 阅读 · 0 评论