Flume基本配置

最新推荐文章于 2024-07-23 08:03:31 发布
最新推荐文章于 2024-07-23 08:03:31 发布
阅读量2.8k 收藏 2
点赞数 1
分类专栏： Flume 文章标签： Flume Hadoop 配置文件 Avro loadbalance

这种模式，有两种方式，一种是用来复制（Replication），另一种是用来分流（Multiplexing）。Replication方式，可以将最前端的数据源复制多份，分别传递到多个channel中，每个channel接收到的数据都是相同的。

配置格式示例如下：

# List the sources, sinks and channels for the agent
<Agent>.sources = <Source1>
<Agent>.sinks = <Sink1> <Sink2>
<Agent>.channels = <Channel1> <Channel2>

# set list of channels for source (separated by space)
<Agent>.sources.<Source1>.channels = <Channel1> <Channel2>

# set channel for sinks
<Agent>.sinks.<Sink1>.channel = <Channel1>
<Agent>.sinks.<Sink2>.channel = <Channel2>

<Agent>.sources.<Source1>.selector.type = replicating

上面指定了selector的type的值为replication，其他的配置没有指定，使用的Replication方式，Source1会将数据分别存储到Channel1和Channel2，这两个channel里面存储的数据是相同的，然后数据被传递到Sink1和Sink2。

Multiplexing方式，selector可以根据header的值来确定数据传递到哪一个channel，配置格式，如下所示：

# Mapping for multiplexing selector
<Agent>.sources.<Source1>.selector.type = multiplexing
<Agent>.sources.<Source1>.selector.header = <someHeader>
<Agent>.sources.<Source1>.selector.mapping.<Value1> = <Channel1>
<Agent>.sources.<Source1>.selector.mapping.<Value2> = <Channel1> <Channel2>
<Agent>.sources.<Source1>.selector.mapping.<Value3> = <Channel2>
#...

<Agent>.sources.<Source1>.selector.default = <Channel2>

上面selector的type的值为multiplexing，同时配置selector的header信息，还配置了多个selector的mapping的值，即header的值：如果header的值为Value1、Value2，数据从Source1路由到Channel1；如果header的值为Value2、Value3，数据从Source1路由到Channel2。

  • 实现load balance功能

Load balancing Sink Processor能够实现load balance功能，上图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示：

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2 k3
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000
  • 实现failover能

Failover Sink Processor能够实现failover功能，具体流程类似load balance，但是内部处理机制与load balance完全不同：Failover Sink Processor维护一个优先级Sink组件列表，只要有一个Sink组件可用，Event就被传递到下一个组件。如果一个Sink能够成功处理Event，则会加入到一个Pool中，否则会被移出Pool并计算失败次数，设置一个惩罚因子，示例配置如下所示：

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2 k3
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 7
a1.sinkgroups.g1.processor.priority.k3 = 6
a1.sinkgroups.g1.processor.maxpenalty = 20000

4. 安装和使用

Flume 的 rpm 安装方式很简单，这里不做说明。

示例1： avro 数据源

安装成功之后，在 /etc/flume/conf 目录创建f1.conf 文件，内容如下:

agent-1.channels.ch-1.type = memory

agent-1.sources.avro-source1.channels = ch-1
agent-1.sources.avro-source1.type = avro
agent-1.sources.avro-source1.bind = 0.0.0.0
agent-1.sources.avro-source1.port = 41414
agent-1.sources.avro-source1.threads = 5

agent-1.sinks.log-sink1.channel = ch-1
agent-1.sinks.log-sink1.type = logger

agent-1.channels = ch-1
agent-1.sources = avro-source1
agent-1.sinks = log-sink1

关于 avro-source 配置说明，请参考 avro-source

接下来启动 agent：

$ flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/f1.conf -Dflume.root.logger=DEBUG,console -n agent-1

参数说明：

  • -n 指定agent名称
  • -c 指定配置文件目录
  • -f 指定配置文件
  • -Dflume.root.logger=DEBUG,console 设置日志等级

下面可以启动一个 avro-client 客户端生产数据：

$ flume-ng avro-client -c /etc/flume-ng/conf -H localhost -p 41414 -F /etc/passwd -Dflume.root.logger=DEBUG,console

示例2：spooldir 数据源

在 /etc/flume/conf 目录创建 f2.conf 文件，内容如下:

agent-1.channels = ch-1
agent-1.sources = src-1

agent-1.channels.ch-1.type = memory

agent-1.sources.src-1.type = spooldir
agent-1.sources.src-1.channels = ch-1
agent-1.sources.src-1.spoolDir = /root/log
agent-1.sources.src-1.fileHeader = true

agent-1.sinks.log-sink1.channel = ch-1
agent-1.sinks.log-sink1.type = logger

agent-1.sinks = log-sink1

关于 Spooling Directory Source 配置说明，请参考 Spooling Directory Source

接下来启动 agent：

$ flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/f2.conf -Dflume.root.logger=DEBUG,console -n agent-1

然后，手动拷贝一个文件到 /root/log 目录，观察日志输出以及/root/log 目录下的变化。

示例3：spooldir 数据源，写入 hdfs

在 /etc/flume/conf 目录创建 f3.conf 文件，内容如下:

agent-1.channels.ch-1.type = file
agent-1.channels.ch-1.checkpointDir= /root/checkpoint
agent-1.channels.ch-1.dataDirs= /root/data

agent-1.sources.src-1.type = spooldir
agent-1.sources.src-1.channels = ch-1
agent-1.sources.src-1.spoolDir = /root/log
agent-1.sources.src-1.deletePolicy= never
agent-1.sources.src-1.fileHeader = true

agent-1.sources.src-1.interceptors =i1
agent-1.sources.src-1.interceptors.i1.type = timestamp

agent-1.sinks.sink_hdfs.channel = ch-1
agent-1.sinks.sink_hdfs.type = hdfs
agent-1.sinks.sink_hdfs.hdfs.path = hdfs://cdh1:8020/user/root/events/%Y-%m-%d
agent-1.sinks.sink_hdfs.hdfs.filePrefix = logs
agent-1.sinks.sink_hdfs.hdfs.inUsePrefix = .
agent-1.sinks.sink_hdfs.hdfs.rollInterval = 30
agent-1.sinks.sink_hdfs.hdfs.rollSize = 0
agent-1.sinks.sink_hdfs.hdfs.rollCount = 0
agent-1.sinks.sink_hdfs.hdfs.batchSize = 1000
agent-1.sinks.sink_hdfs.hdfs.writeFormat = text
agent-1.sinks.sink_hdfs.hdfs.fileType = DataStream
#agent-1.sinks.sink_hdfs.hdfs.fileType = CompressedStream#agent-1.sinks.sink_hdfs.hdfs.codeC = lzop

agent-1.channels = ch-1
agent-1.sources = src-1
agent-1.sinks = sink_hdfs

关于 HDFS Sink配置说明，请参考 HDFS Sink

说明：

  1. 通过 interceptors 往 header 里添加 timestamp，这样做，可以在 hdfs.path 引用系统内部的时间变量或者主机的 hostname。
  2. 通过设置 hdfs.inUsePrefix，例如设置为 .时，hdfs 会把该文件当做隐藏文件，以避免在 mr 过程中读到这些临时文件，引起一些错误
  3. 如果使用 lzo 压缩，则需要手动创建 lzo 索引，可以通过修改 HdfsSink 的代码，通过代码创建索引
  4. FileChannel 的目录最好是和 spooldir 的数据目录处于不同磁盘。

示例4：spooldir 数据源，写入 HBase

关于 HBase Sink 配置说明，请参考 HBase Sink

5. 开发相关

5.1 编译源代码

从 github 下载源代码并编译：

$ git clone git@github.com:cloudera/flume-ng.git -b cdh4-1.4.0_4.7.0
$ cd flume-ng
$ mvn install -DskipTests -Phadoop-2

如果提示找不到 hadoop-test 的 jar 包，则修改 pom.xml 中的版本，如改为 2.0.0-mr1-cdh4.7.0，具体版本视你使用的分支版本而定，我这里是 cdh4.7.0。

如果提示找不到 uanodeset-parser 的 jarb，则在 pom.xml 中添加下面仓库：

<repository>
  <id>tempo-db</id>
  <url>http://maven.tempo-db.com/artifactory/list/twitter/
  </url>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

6. 最佳实践

参考基于Flume的美团日志收集系统(一)架构和设计，列出一些最佳实践：

  • 模块命名规则：所有的 Source 以 src 开头，所有的 Channel 以 ch 开头，所有的 Sink 以 sink 开头；
  • 模块之间内部通信统一使用 Avro 接口；
  • 将日志采集系统系统分为三层：Agent 层，Collector 层和 Store 层，其中 Agent 层每个机器部署一个进程，负责对单机的日志收集工作；Collector 层部署在中心服务器上，负责接收Agent层发送的日志，并且将日志根据路由规则写到相应的 Store 层中；Store 层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。
  • 扩展 MemoryChannel 和 FileChannel ，提供 DualChannel 的实现，以提供高吞吐和大缓存
  • 监控 collector HdfsSink写数据到 hdfs 的速度、FileChannel 中拥堵的 events 数量，以及写 hdfs 状态（查看是否有 .tmp 文件生成）

美团对 flume 的改进代码见 github：https://github.com/javachen/mt-flume。

监听端口

#Name the components on this agent
a1.sources = r1
a1.sinks=k1
a1.channels=c1
#Describe/configure the source
a1.sources.r1.type=netcat
a1.sources.r1.bind=Master
a1.sources.r1.port=44444
#Deacribe the sink
a1.sinks.k1.type=logger
#use a channel which buffers events in memory
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
#Bind the source and sink to the channel
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
Gedeon
关注
专栏目录
flume配置
bwf317的博客
06-22 644
2.1 配置采集方案 通过上游采集，下游直接写入到hdfs中。配置两个sink用于sink高可用 上游配置： a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #sources：用到TAILDIR类型，记录偏移量，安全，快开重连可以接着上次的位置继续采集数据 a1.sources.r1.channels = c1 a1.sources.r1.type = TAILDIR #根据终端定义相应地文件组，分别制定其对应的日志存储位置进行数据的读
Flume配置
zjy15737869372的博客
12-10 1363
一、解压 将压缩包拉入software下，如图所示 切到software进行解压,解压至module下 注：空格及解压的路径不能出错，C要大写 cd /opt/software tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
flume参数配置详解
十色花的博客
08-22 9186
一、什么是flume Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 二、flume特点 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
牧夏的个人博客
07-23 865
Flume简介&安装配置&使用教程 1、Flume简介 一：概要 Flume 是一个可配置、可靠、高可用的大数据采集工具，主要用于将大量的数据从各种数据源（如日志文件、数据库、本地磁盘等）采集到数据存储系统（主要为Hadoop HDFS）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。 二：Flume的基础架构 详细讲解： Flume主要由三部分组成：Source，Channel，Sink。 1.Source：负责接收数据至 Flume Agent 组件中【入口】
Flume参数配置详解
u012743578的博客
07-21 1247
Flume参数配置详解 一、agent #sources、channels、sinks 名称定义 agent_1.sources = weixin_source_from_kafka agent_1.channels = weixin_channel1 agent_1.sinks = weixin_sinks1 weixin_sinks2 二、分组 #set group，组名称为“g1” agent_1.sinkgroups = g1 #set sinks group ，weixin_si
大数据平台——flume开发
王同学的博客
10-03 485
Flume 1. Flume产生背景 1.1 问题的产生 HDFS、MapReduce、HBase 数据都是老板给你的 你在工作中需要代码处理一个业务，老板只会提需求，你首要知道数据类型 数据长什么样子。 订单数据、用户数据、商品数据都是存储在mysql中， 效率高，是因为select*from goods where name like %s% 某个商品男的看到多,还是女的看的多，数据库里面没有！ 也就是说数据库会存储数据，但有些业务也没有数据！ 所以我们要收集数据！ 1.2 收集数据 数据来源： 文件
Flume配置参数详解
qq_57151931的博客
03-15 1674
Flume配置参数详解
hadoop集群配置之————flume安装配置（详细版）
07-23
- Event：是Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。一个Event由Header和Body两部分组成，Header用来存放该event的一些属性，为键值(K-V)结构；Body用来存放该条数据，形式为字节数组。 ...
大数据采集技术-Flume级联配置.pptx
12-23
1. **Flume级联配置的基本概念**： Flume级联配置是指在一个Flume Agent（Agent1）收集数据后，将这些数据传输到另一个Agent（Agent2），而不是直接将数据写入存储系统。这种配置允许数据在多个Agent之间进行处理和...
flume配置文件demo
11-06
本示例中的 "flume配置文件demo" 提供了一些基础的 Flume 配置文件，用于展示其基本工作原理和配置方法。 Flume 的配置文件通常以 `.conf` 结尾，如 `flume-conf.conf`。这些配置文件使用基于 Java 属性的格式，...
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
Flume学习文档(1){Flume基本概念、Flume事件概念与原理}.docx
07-27
### 一、Flume基本概念 #### 1.1 Flume简介 Flume是由Cloudera公司开源的一种分布式、可靠且高效的服务，专门用于收集、聚合和移动大量的日志数据。它的设计目标是简化复杂的大规模数据流处理过程，并提供一套灵活...
flume教程及配置讲解共23页.pdf.zip
11-19
通过这份23页的Flume教程，你可能会了解到如何创建基本的Flume配置，理解Flume的工作原理，学习如何处理数据流中的错误，以及如何监控和优化Flume的性能。此外，还可能涉及实际案例分析，教你如何根据业务需求设计和...
一百九十一、Flume——Flume配置文件各参数含义（持续完善中）
tiantang2renjian的博客
10-19 1613
Flume配置文件各参数含义
Flume配置文件
我是60岁程序员
10-11 273
使用flume的关键就是写配置文件 A)配置source B)配置channel C)配置sink D)把三个组件串起来 a1:agent名称 r1:source名称 k1:sink名称 c1:channel名称 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/con...
flume配置文件
九万里
12-17 758
1.Sink-ES #------agent----- agent.sources=agentSource agent.channels=agentChannel agent.sinks=agentSink #-------- agentSource----------- agent.sources.agentSource.type=org.apache.flume.source.kafka....
Flume配置参数说明介绍
chaihao111的博客
05-17 2080
参考：https://www.cnblogs.com/HelloBigTable/p/10425761.html 一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 　　a1.sinks = k1 　　a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，...
Flume安装配置以及参数详解
搁浅的博客
08-05 793
Flume安装配置以及参数详解一、Flume基本概念：二、Flume基本结构：三、Flume的安装配置：四、数据传输的配置：五、使用Flume过程中遇到的问题： 一、Flume基本概念： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据...
Flume高级配置与实战指南
Flume中的基本数据单位是事件，它由header和body组成。Header存储元数据，而Body则包含实际的数据内容。 **3. 分布式模式** Flume支持两种分布式模式：伪分布和全分布。 - **Pseudo-distributed Mode**: 在此模式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值