Flume学习笔记

已于 2022-12-18 22:22:07 修改
阅读量456 收藏 1
点赞数
分类专栏： 大数据 文章标签： flume
于 2021-06-27 15:01:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lonelymanontheway/article/details/107446843
版权

概述

官网。Cloudera开源的Flume通过简单的配置收集不同数据源的海量数据并将数据准确高效地传输到不同的中心存储。

一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于采集数据；同时提供对数据进行简单处理，并写到各种数据接收方的能力，即Flume是实时采集日志的数据采集引擎。

Flume-OG升级到Flume-NG。

概念

  • Client：Client生产数据，运行在一个独立的线程
  • Event：一条消息或一条数据，具有可选头信息，在头信息中可以设置时间戳、主机名称等信息。可以是日志记录、 avro 对象等
  • Source：数据源，接收或者收集不同形式的数据源
  • Channel：event的临时缓冲区，source先将event发送到channel缓存等待sink消费
  • Sink：从channel获取event并发送到中心存储或者下一级agent
  • Agent：包含source、channel、sink等组件的flume进程
  • Interceptor：event拦截器，根据配置文件在event的header中添加时间戳、主机名称等信息
  • Selector：event选择器，event选择流入channel的方式，flume提供复制（replicating）和复用（multiplexing）选择器
  • Sink Processor：event sink处理器，flume提供故障转移处理器和负载均衡处理器

架构

Flume主要分为Source、Channel、Sink三个组件，包含在一个Agent中，一个Agent相当于一个独立的application，数据从源头经过Agent的这几个组件最后到达目的地。一个Flume服务可同时运行多个Agent。一个event在一个agent中的传输流程：
在这里插入图片描述

特性

1、可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。
2、可扩展性
Flume采用三层架构，分别为agent，collector和storage，每一层均可以水平扩展。所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），避免单点故障问题。

适用场景

日志—>Flume—>实时计算（如kafka/MQ+Storm/Spark Streaming）
日志—>Flume—>离线计算（如ODPS、HDFS、HBase）
日志—>Flume—>ES等

Source

Spooling Directory Source

  • 采集文件夹数据到HDFS，写到HDFS上的文件大小最好是100M左右，比blocksize的默认值（128M）略低
  • 一般使用rolllnterval、rollSize来控制文件的生成，哪个先触发就会生成HDFS文件，将根据条数的roll关闭
  • rollSize控制的大小是指的压缩前的，所以若HDFS文件开启压缩配置，则需调大rollsize的大小
  • 当文件夹下的某个文件被采集到HDFS上，会有个.complete的标志
  • 采集文件数据时若该文件数据已经被采集，再对该文件做修改是会报错并停止，其次若放进去一个已经完成采集的同名数据文件也是会报错停止的
  • 写HDFS数据可按照时间分区，注意该时间刻度内无数据则不会生成该时间文件夹
  • 生成的文件名称默认是前缀+时间戳，这个是可以更改的

Taildir Source

  • 采集文件夹数据到HDFS，Flume1.7新推出，CDH Flume1.6有集成进来
  • 高可靠（reliable）的source，会实时的将文件偏移量写到json文件中并保存到磁盘。重启Flume时会读取Json文件获取文件IO偏移量，然后从之前的位置读取数据，保证数据零丢失
  • 可同时监控多个文件夹以及文件，即使文件在实时写入数据
  • 也无法采集递归文件下的数据，这需要改造源码
  • 监控一个文件夹下的所有文件一定要用.*正则

其他

  • HTTP Source
  • Kafka Source

配置文件示例：

Channel

Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。

常用的Channel：

  1. Memory channel：缓存到内存中
  2. JDBC channel：通过JDBC缓存到关系型数据库中
  3. Kafka channel：缓存到Kafka中
  4. File Channel：缓存到本地文件中

Sink

缓存的数据最终需要进行保存，Sink组件用来保存数据。部分Sink：

  1. HDFS sink：保存到HDFS中
  2. HBase Sink：保存到HBase中
  3. Hive Sink：保存到Hive中
  4. Kafka Sink：保存到Kafka中

配置文件示例：

a1.sinks.r1.type = hdfs
a1.sinks.r1.hdfs.path = hdfs://cdh5/tmp
a1.sinks.r1.hdfs.filePrefix = johnny_%{static_key}
a1.sinks.r1.hdfs.fileSuffix = .log
a1.sinks.r1.hdfs.fileType = DataStream
a1.sinks.r1.hdfs.useLocalTimeStamp = true
a1.sinks.r1.hdfs.writeFormat = Text
a1.sinks.r1.hdfs.rollCount = 0
a1.sinks.r1.hdfs.rollSize = 0
a1.sinks.r1.hdfs.rollInterval = 600
a1.sinks.r1.hdfs.batchSize = 500
a1.sinks.r1.hdfs.threadsPoolSize = 10
a1.sinks.r1.hdfs.idleTimeout = 0
a1.sinks.r1.hdfs.minBlockReplicas = 1
a1.sinks.r1.channel = fileChannel

Interceptor

拦截器，用户Source读取events发送到Sink时，在events header中加入一些有用的信息，或对events的内容进行过滤，或将读取的数据按照业务类型分开存储，完成初步的数据清洗。

org.apache.flume.interceptor.Interceptor接口源码：

public interface Interceptor {
    void initialize();
    Event intercept(Event event);
    List intercept(List events);
    void close();
    interface Builder extends Configurable {
        Interceptor build();
    }
}

通过实现Interceptor来自定义拦截器，用户可以通过该节点定义规则来修改或者丢弃事件。Flume支持链式拦截，通过在配置中指定构建的拦截器类的名称，在source的配置中，拦截器被指定为一个以空格为间隔的列表，它按照指定的顺序调用，一个拦截器返回的事件列表被传递到链中的下一个拦截器，当一个拦截器要丢弃某些事件时，拦截器只需要在返回事件列表时不返回该事件即可，若拦截器要丢弃所有事件，则其返回一个空的事件列表。

Flume-ng 1.6中目前提供以下拦截器：

  • Timestamp Interceptor，将时间戳插入到Flume的事件报头中。Source连接到时间戳拦截器的配置：
a1.sources.r1.interceptors=timestamp
a1.sources.r1.interceptors.timestamp.type=timestamp
a1.sources.r1.interceptors.timestamp.preserveExisting=false
  • Host Interceptor，插入服务器的ip地址或者主机名，agent将这些内容插入到事件的报头中。Source连接到主机拦截器的配置：
a1.sources.r1.interceptors=host
a1.sources.r1.interceptors.host.type=host
a1.sources.r1.interceptors.host.useIP=false
a1.sources.r1.interceptors.timestamp.preserveExisting=true
  • Static Interceptor，将k/v插入到事件的报头中。Source连接到静态拦截器的配置：
a1.sources.r1.interceptors = static
a1.sources.r1.interceptors.static.type=static
a1.sources.r1.interceptors.static.key=logs
a1.sources.r1.interceptors.static.value=logFlume
a1.sources.r1.interceptors.static.preserveExisting=false
  • UUID Interceptor：用于在每个events header中生成一个UUID字符串
  • Morphline Interceptor：使用Morphline对每个events数据做相应的转换
  • Search and Replace Interceptor：用于将events中的正则匹配到的内容做相应的替换；
  • Regex Filtering Interceptor：过滤掉不需要的日志，也可以根据需要收集满足正则条件的日志；
    Source连接到正则过滤拦截器的配置：
a1.sources.r1.interceptors=regex
a1.sources.r1.interceptors.regex.type=REGEX_FILTE
# 匹配除“\n”之外的任何字符
a1.sources.r1.interceptors.regex.regex=.*
# false默认收集匹配到的事件；若为true，则会删除匹配到的event，收集未匹配到的
a1.sources.r1.interceptors.regex.excludeEvents=false
  • Regex Extractor Interceptor：使用正则表达式抽取原始events中的内容，并将该内容加入events header中。

安装

事务

Flume事务可用于保证数据的可靠性。下图的数据流是spooling directory source-> memory channel-> kafka sink，memory channel维护两个事务：PUT事务和Take事务。
在这里插入图片描述

  1. PUT事务
    1. 批量数据循环PUT到putList中；
    2. Commit，把putList队列中的数据offer到queue队列中，然后释放信号量，清空putList队列；
    3. Rollback，清空putList队列。
  2. Take事务
    1. 检查takeList队列大小是否够用，从queue队列中poll；
    2. Event到takeList队列中；
    3. Commit，表明被Sink正确消费掉，清空takeList队列；
    4. Rollback，异常出现，则把takeList队列中的Event返还到queue队列顶部。

监控

作为一个采集数据和日志的应用，只有自身不间断健康运行，才能保证其他系统可用性。故而，对Flume的监控就显得很重要。

使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，Source到Channel传输多少消息，Channel到Sink又传输多少，两处的消息量是否偏差过大等等。

Flume提供Monitor机制，通过Reporting的方式，把过程中的Counter都打印出来。有4种Reporting方式，JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting。

这里以最简单的JSON Reporting为例，在启动Flume Agent时，增加两个参数：
flume-ng agent -n agent_centos113 –conf . -f agent_centos113_file_2_kafka.properties -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

flume.monitoring.type=http指定Reporting的方式为http，flume.monitoring.port指定http服务的端口号

启动后，会在Flume Agent所在的机器上启动http服务，http://<hostname>:34545/metrics 打开该地址后，返回一段JSON：

{
    "SINK.sink_centos113":{
        "ConnectionCreatedCount":"0",
        "BatchCompleteCount":"0",
        "BatchEmptyCount":"72",
        "EventDrainAttemptCount":"0",
        "StartTime":"1518400034824",
        "BatchUnderflowCount":"43",
        "ConnectionFailedCount":"0",
        "ConnectionClosedCount":"0",
        "Type":"SINK",
        "RollbackCount":"0",
        "EventDrainSuccessCount":"244",
        "KafkaEventSendTimer":"531",
        "StopTime":"0"
    },
    "CHANNEL.file_channel_centos113":{
        "Unhealthy":"0",
        "ChannelSize":"0",
        "EventTakeAttemptCount":"359",
        "StartTime":"1518400034141",
        "Open":"true",
        "CheckpointWriteErrorCount":"0",
        "ChannelCapacity":"10000",
        "ChannelFillPercentage":"0.0",
        "EventTakeErrorCount":"0",
        "Type":"CHANNEL",
        "EventTakeSuccessCount":"244",
        "Closed":"0",
        "CheckpointBackupWriteErrorCount":"0",
        "EventPutAttemptCount":"244",
        "EventPutSuccessCount":"244",
        "EventPutErrorCount":"0",
        "StopTime":"0"
    },
    "SOURCE.source_centos113":{
        "EventReceivedCount":"244",
        "AppendBatchAcceptedCount":"45",
        "Type":"SOURCE",
        "AppendReceivedCount":"0",
        "EventAcceptedCount":"244",
        "StartTime":"1518400034767",
        "AppendAcceptedCount":"0",
        "OpenConnectionCount":"0",
        "AppendBatchReceivedCount":"45",
        "StopTime":"0"
    }
}

三个JSON对象分别打印出三个组件的Counter信息：
SOURCE中"EventReceivedCount":"244"表示SOURCE从文件中读取到244条消息；
CHANNEL中"EventPutSuccessCount":"244"表示成功存放244条消息；
SINK中"EventDrainSuccessCount":"244"表示成功向Kafka发送244条消息。

性能优化

在这里插入图片描述
一个Flume进程就是一个Agent，性能调优主要是Flume的参数配置，Flume agent配置分为三个部分：Source、Channel、Sink。

  1. Source

    • 增加Source个数（使用tairDirSource时可增加filegroups个数）可以增大Source读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source以保证Source有足够的能力获取到新产生的数据。
    • batchSize参数决定Source一次批量传输到Channel的event条数，适当调大这个参数可以提高Source搬运Event到Channel时的性能。

  2. Channel

    • type选择memory时Channel的性能最好，但是如果Flume进程意外挂掉可能会丢失数据；type选择file时Channel的容错性更好，但是性能上会比memory channel差。使用file Channel时dataDirs配置多个不同盘下的目录可以提高性能。
    • capacity参数决定Channel可容纳最大的event条数；transactionCapacity参数决定每次Source往channel里面写的最大event条数和每次Sink从channel里面读的最大event条数；transactionCapacity需要大于Source和Sink的batchSize参数；byteCapacity是Channel的内存大小，单位是byte。

  3. Sink

    • 增加Sink的个数可以增加Sink消费event的能力。Sink也不是越多越好，够用就行，Sink过多会占用系统资源，造成不必要的浪费。
    • batchSize参数决定Sink一次批量从Channel读取的event条数，适当调大这个参数可以提高Sink从Channel搬出event的性能。

问题

  1. Flume的停止
    使用kill停止Flume进程，不可使用kill -9，Flume内部注册有很多钩子函数执行善后工作，kill -9会导致钩子函数不执行，使用kill时，Flume内部进程会监控到用户的操作，然后调用钩子函数，执行一些善后操作，正常退出。
  2. Flume数据丢失
    Flume可能丢失数据的情况是Channel采用memoryChannel，agent宕机导致数据丢失，或Channel存储数据已满，导致Source不再写入，未写入的数据丢失。另外，Flume有可能造成数据的重复，例如数据已经成功由Sink发出，但是没有接收到响应，Sink会再次发送数据，此时可能会导致数据的重复。
  3. Sink从Channel中读取数据的方式
    默认情况下，Sink获取数据的方式是：当Source向Channel发送一条数据的时候，Sink会通过循环的方式获取一条数据，然后再发送给客户端。
    Sink可以分为KafkaSink和AvroSink， 它们都是通过循环的方式获取数据，但是 KafkaSink可以通过配置topic进行批量从客户端读取。但原理还是一条一条的从Channel读取数据，只是在Sink中存在缓存机制，当数据量达到某一数量的时候，会将数据批量发送到客户端。
  4. CPU占用过高
    若程序运行出现CPU占用过高的现象，则可在代码中加入休眠sleep，这样的话，就可以释放CPU资源；内存资源不会释放，因为线程还未结束，是可用状态。

参考

Flume的监控

johnny233
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
flume中的FileChannel的优化
04-20
经过对Flume FileChannel相关源码的分析，导致FileChannel吞吐率下降的主要原因集中于事务的提交过程——commit
flume使用问题之fileChannel篇
朴实，坚持，兴趣
12-04 1678
flume fileChannel
Flume --文件通道(file channel)
tianqinglei的博客
08-31 9143
文件通道是Flume的持久通道。它将所有事件写入磁盘，因此不会丢失进程或机器关机或崩溃的数据。文件通道可确保任何提交到通道的事件只有在接收到事件并提交事务时才会从通道中删除，即使机器或代理程序崩溃并重新启动。它被设计为高度并发，同时处理多个source和sink。      文件通道设计用于需要数据持久性和不能容忍数据丢失的情况。由于通道将数据写入磁盘，因此不会在数据崩溃或失败时丢失数据。由于将
Flume开发中遇到的问题及优化方法
weixin_43907316的博客
03-26 710
Flume开发中遇到的问题及优化方法sourcechannelsink案例 source tailDir source： （1）优点： 1）断点续传 2）多目录访问 Flume版本 Apache1.7、CDH1.6 （2）taildir挂了怎么办？ 不会丢数：断点续传 （3）怎么处理重复数据？ 不处理：生产环境通常不处理，因为会影响传输效率； 处理： 自身：在taildirsource里面增加自定义事务 （但是会影响flume的处理速度） 找兄弟：下一级处理（hive dwd sparkstreaming
Flume中 File Channel 的优化
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
10-08 564
Flume中 File Channel 的优化
flume学习笔记.pptx
09-23
flume学习笔记 ===亲测===== 笔记中所有demo都已由本人实现
flume学习笔记更新版20190927.pptx
09-27
更新flume笔记文档 其中包括flume安装，flume监控文件、目录等并保存数据 还包含flume启动脚本
IT十八掌_Flume阶段学习笔记(知识点总结)
09-03
IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结
Kafka最新完整学习笔记.pdf
08-17
学习kafka相关概念以及使用方法，kafka相关运行原理和执行流程，结合javaAPI，拦截器的相关实现，flume整合kafka等等
大数据学习笔记.zip
08-23
大数据学习笔记 包含Hadoop Hbase kafka flume
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6597
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
Flume常用Channel
yunweijie_cn的博客
02-15 984
Flume常用Channel一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np imp
Flume之 File类型的Channel
蒯厅博客
05-04 1039
简介 允许所有的数据存储在硬盘中。 好处：数据永远不丢失。 坏处：因为使用磁盘的存储方式会频繁的发生磁盘I/O，所以会极大的降低Flume的吞吐量。 配置项 说明 type file dataDirs 数据存放的目录，可以使用多个，多目录之间使用逗号分割即可。 实验步骤： 1.在job 文件下创建新文件file.template.conf并且配置如下信息： a1.sourc...
调优之Flume（更新中...）
qq_29494693的博客
04-16 136
调优小总结 1. 启动消费Flume抛出OutOfMemoryError 现象： ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 内存不足导致的，在flume-env.sh文件增大分配的内存，注意：-Xmx与-Xms最好设置一致，减少内存抖动带来的性能影响，如果设置不一致容易导致频繁fullgc。 flume/conf/flume-env.sh文件中增加如下
Flume File Channel
最新发布
m0_55212193的博客
06-13 1471
昨天用Flume采集kafka中的数据到HDFS上,今天才发现Flume采集丢数据了。而我正正是使用了MemoryChannel,所以才导致数据丢失的。今天来学习一下FileChannel吧。
大数据组件部分优化
L, there!
07-03 738
主要是对于CDH平台上的大数据组件优化，后续再添加。 目录 1. HDFS 2. Yarn 3. Flume 4. Kafka 5. Hive 6. Sqoop 7. 其他优化： 1. HDFS 1. 设置HDFS多个存储目录 原理：将数据分不到多个磁盘，不会只占用某个磁盘，导致某些磁盘频繁使用，某些磁盘空闲。 优化：dfs.datanode.data.dir...
flume搜集日志：如何解决实时不断追加的日志文件及不断增加的文件个数问题
感谢你的关注~~~~ღ( ´･ᴗ･` )
08-07 6514
在搜集日志的过程中，日志文件的个数及日志文件需要不断的追加。flume1.6中，可以使用tail -f可以解决不断追加的文件，但是由于日志文件的个数是变化的，不可能只产生一个文件。所以tail -f就已经不能解决这个搜集日志的问题。 需求： 需要能够监控不断增加的文件，并且单个文件也是不断追加的 解决办法： 这时候flume1.7就产生了，很好的通过 TAILDIRl解决了这个问题。TAI...
flume jvm调优_Flume FileChannel优化（扩展）实践指南
weixin_39915820的博客
12-20 294
本文系微博运维数据平台(DIP)在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍：应用场景Flume实例架构Flume调试及优化扩展Flume Todo生产环境部署1. 应用场景我们的应用场景是一个典型的实时数据传输(接收)过程，架构图如下：包括三个组件：(1)ServiceSer...
9_辅助框架.docx
06-18
大数据协作框架杂谈 在大数据领域，我们已经学习了Hadoop的三个组件：数据仓库工具Hive，数据库...通过学习和使用Sqoop、Flume、Oozie和Hue等框架，我们可以更加方便地处理和管理大数据，提高数据分析的效率和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

johnny233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值