flume
flume
毛豆有毛没豆
这个作者很懒,什么都没留下…
展开
-
flume对接kafka
flume agent配置#定义a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 #sourcea1.sources.r1.type = TAILDIR# 用于断点续传,文件中包含各个路径下各个文件当前读取到的偏移量a1.sources.r1.positionFile = /opt/flume_conf/tmp/tai...原创 2020-01-22 18:30:19 · 154 阅读 · 0 评论 -
Flume六:自定义 Sink
案例自定义实现类package com.flume.sinks;import org.apache.flume.*;import org.apache.flume.conf.Configurable;import org.apache.flume.sink.AbstractSink;import org.slf4j.Logger;import org.slf4j.Logge...原创 2020-01-19 18:08:04 · 142 阅读 · 0 评论 -
Flume五:自定义source
案例自定义source实现类package com.flume.source;import org.apache.flume.Context;import org.apache.flume.EventDeliveryException;import org.apache.flume.PollableSource;import org.apache.flume.conf.Con...原创 2020-01-17 21:16:11 · 119 阅读 · 0 评论 -
Flume四:多路复用(ChannelSelector之Multiplexing)+自定义拦截器
案例:自定义拦截器pom.xml<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId></dependency>拦截器类package com.flu...原创 2020-01-17 20:09:49 · 1152 阅读 · 0 评论 -
Flume三:负载均衡和故障转移(SinkProcessor)
案例一:故障转移agent1 : flume.conf(node2)FailoverSinkProcessor#定义a1.sources = r1a1.channels = c1a1.sinks = k1 k2#定义sink组a1.sinkgroups = g1#sourcea1.sources.r1.type = TAILDIR# 用于断点续传,文件中包含...原创 2020-01-17 12:20:18 · 560 阅读 · 0 评论 -
Flume二:复制(ChannelSelector之Replicating复制)
案例一:复制agent1 : flume.conf(node2节点)#定义a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2#sourcea1.sources.r1.type = TAILDIR# 用于断点续传,文件中包含各个路径下各个文件当前读取到的偏移量a1.sources.r1.positionFile ...原创 2020-01-17 11:32:02 · 510 阅读 · 0 评论 -
Flume一:事务/内部原理/拓扑结构
Flume事务Flume Agent 内部原理 重要组件:1)ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型,分别是 Replicating(复制)和 Multiplexing(多路复用)。ReplicatingSelector 会将同一个 Event 发往所有的 C...原创 2020-01-17 10:44:08 · 221 阅读 · 0 评论 -
flume-taildir监控多目录下多个追加文件,并且实现断点续传
说明Exec source 适用于监控一个实时追加的文件,但不能保证数据不丢失;Spooldir Source 能够保证数据不丢失,且能够实现断点续传,但延迟较高,不能实时监控;而 Taildir Source 既能够实现断点续传,又可以保证数据不丢失,还能够进行实时监控。实现步骤:1.创建配置文件 flume-taildir-hdfs.conf添加如下内容a3.sour...原创 2020-01-16 19:55:25 · 839 阅读 · 1 评论 -
flume安装、使用案例
官网http://flume.apache.org/安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意:JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 export FLUME_HOME=/home/a...原创 2020-01-16 15:18:39 · 102 阅读 · 0 评论