Flume
DeathGXD
这个作者很懒,什么都没留下…
展开
-
Flume自定义Source
讲解一下如何自定义一个Flume的Source,很简单,下面是一个自定义Source,从Kafka中读取数据的Demo.package death.flume;import com.google.common.base.Preconditions;import org.apache.flume.Context;import org.apache.flume.EventDeliveryEx...原创 2019-11-20 11:29:59 · 249 阅读 · 0 评论 -
Flume自定义Sink
讲解一下如何自定义一个Flume的Sink,很简单,下面是一个自定义Sink,将数据写入到HDFS的Demo.package death.flume;import java.io.IOException;import java.net.URI;import java.text.SimpleDateFormat;import java.util.Date;import com.ali...原创 2019-06-21 14:09:43 · 2021 阅读 · 0 评论 -
Flume配置HDFS Sink
解析一下HDFS Sink的常规配置channeltype ###sink的类型,此处是hdfshdfs.path ###hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/hdfs.filePrefix ###写入hdfs的文件名后缀,比如:.lzo .log等hdfs.rollIn...原创 2019-06-18 10:58:37 · 639 阅读 · 0 评论