flume
文章平均质量分 80
PZ~浪味仙
野蛮生长~无问西东~
展开
-
Flume的Source--KafkaSource
以前多是用kafka来消费flume中的数据,今天突然要用flume消费kafka中的数据时,有点懵,赶紧查一查Apache的官宣~~~~~~flume从kafka中消费数据一、kafkaSourceKafka Source is an Apache Kafka consumer that reads messages from Kafka topics. If you have multi...翻译 2018-10-29 21:23:05 · 8382 阅读 · 0 评论 -
fume的sink---HDFS Sink
HDFS SinkThis sink writes events into the Hadoop Distributed File System (HDFS). It currently supports creating text and sequence files. It supports compression in both file types. The files can be r...翻译 2018-10-29 22:41:58 · 325 阅读 · 0 评论 -
自定义Flume的Interceptor,编写、配置与使用
基于需求,自己写了一个Flume的Interceptor,主要需求如下:kafka中数据格式为json字符串,需要利用Flume消费kafka中的数据,并按照指定的key的顺序,将value输出,并用指定分隔符分隔输入:String JsonString = "{'key1':'a','key2':'b','key3':'c','key4':'d','key5':'e','key6':'f'}...原创 2018-10-31 23:45:56 · 1292 阅读 · 0 评论 -
Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
转载原文地址:http://lxw1234.com/archives/2016/06/684.htm如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然会被写入到...转载 2018-11-01 09:15:36 · 326 阅读 · 0 评论 -
Flume中的拦截器(Interceptor)介绍与使用
原文链接:http://lxw1234.com/archives/2015/11/543.htmFlume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器:Timestamp...转载 2018-11-10 15:20:58 · 169 阅读 · 0 评论 -
Flume HDFS Sink常用配置深度解读
一、hdfs sink滚动生成文件的策略一般使用hdfs sink都会采用滚动生成文件的方式,hdfs sink滚动生成文件的策略有:基于时间基于文件大小基于hdfs文件副本数(一般要规避这种情况)基于event数量基于文件闲置时间下面将详细讲解这些策略的配置以及原理1. 基于时间策略配置项:hdfs.rollInterval默认值:30秒说明:如果设置为0表示禁用这个策...转载 2018-12-13 15:03:55 · 348 阅读 · 0 评论 -
kafka-producer的生产速度与kafka-consumer的消费速度对比
一、业务需求上游数据存储到kafka中,使用flume来采集数据,传输至hdfs等多种flumeSink。在此过程中,若kafka的数据生产速度高于了flume的消费速度,就会产生数据积压。为了对此过程进行监控,需要定时来监控kafka的生产与消费的状态。二、知识积累知识参考:https://blog.csdn.net/yxgxy270187133/article/details/5366...原创 2019-01-08 11:08:24 · 9430 阅读 · 1 评论 -
flume之HDFS Sink详解(转载)
原文地址:http://www.aboutyun.com/thread-21422-1-1.html一、重要问题点1.哪些配置影响着hdfs文件的关闭?2.HDFS Sink中每次都会触发的事件是什么?3.HDFS Sink中参数的优先级是怎样的?二、HDFS Sink跟写文件相关配置hdfs.path -> hdfs目录路径hdfs.filePrefix -> 文件前缀...转载 2019-04-01 10:32:57 · 4904 阅读 · 0 评论 -
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS(转载)
原文地址:https://cloud.tencent.com/developer/article/1078494一、概况在Kafka集群实际应用中,Kafka的消费者有很多种(如:应用程序、Flume、Spark Streaming、Storm等),本篇文章主要讲述如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS。本文的数据流图如下:内容概述1.Kafka集群启...转载 2019-06-06 10:36:23 · 1826 阅读 · 0 评论