Flume知识点总结

最新推荐文章于 2024-05-20 12:44:11 发布
最新推荐文章于 2024-05-20 12:44:11 发布
阅读量802 收藏 1
点赞数
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77331010/article/details/133841788
版权

 一、Flume简介：

        Flume 是一个分布式、可靠且高可用的日志收集和聚合系统。它是 Apache 基金会下的一个开源项目，旨在帮助用户轻松地从多个源收集、聚合和移动大量的日志数据。

  1. 架构：Flume 的架构包括三个核心组件：Source、Channel 和 Sink。Source 负责从不同的数据源（如日志文件、Kafka、Syslog 等）收集数据，Channel 作为数据的缓冲区，用于将数据传递给 Sink，Sink 将数据发送到最终的目的地（如 HDFS、HBase、Kafka 等）。

  2. 数据流：Flume 的数据流通过 Event 来表示，一个 Event 包含了要传输的数据以及一些可选的头部信息。Event 在 Source 和 Channel 之间、Channel 和 Sink 之间进行传递。

  3. Source：Source 是 Flume 的数据输入端，它从各个数据源收集数据并将其转换为 Event，然后发送到 Channel。Flume 提供了多种类型的 Source，如 Avro、Netcat、Spooling Directory 等，以适应不同的数据源。

  4. Channel：Channel 是 Flume 的数据缓冲区，它用于存储从 Source 收集到的 Event，并将其传递给 Sink。Flume 提供了多种类型的 Channel，如 Memory、File、Kafka 等，以适应不同的需求和场景。

  5. Sink：Sink 是 Flume 的数据输出端，它从 Channel 中获取 Event 并将其发送到最终的目的地。Flume 提供了多种类型的 Sink，如 HDFS、HBase、Kafka 等，以支持不同的数据存储和分析需求。

  6. Agent：Agent 是 Flume 的基本工作单元，它是一个独立的进程，包含了一组 Source、Channel 和 Sink 的配置。一个 Agent 可以用于收集和传输特定类型的数据。

  7. 事件处理：Flume 支持一些事件处理机制，如拦截器（Interceptors）和转换器（Converters）。拦截器可以用于对 Event 进行预处理、过滤或添加额外的信息，转换器可以用于对 Event 中的数据进行格式转换。

  8. 可靠性和高可用性：Flume 提供了一些机制来保证数据的可靠性和高可用性，如事务、重试、故障转移等。可以通过适当的配置来确保数据流的稳定性和可靠性。

二、Source、Sink、Channel常用类型：

  1. Source 常用类型：

    • Avro Source：通过 Avro 协议从网络上接收数据。
    • Exec Source：执行外部命令并收集其输出作为数据源。
    • Spooling Directory Source：监视指定目录下的文件，并将文件内容作为数据源。
    • Syslog Source：接收和解析 Syslog 协议的日志数据。
    • Taidir Source：Taildir Source监控指定的一些文件，并在检测到新的一行数据产生的时候几乎实时地读取它们。

  2. Sink 常用类型：

    • HDFS Sink：将数据写入 Hadoop 分布式文件系统（HDFS）。
    • HBase Sink：将数据写入 HBase 非关系型数据库。
    • Kafka Sink：将数据写入 Apache Kafka 消息队列。
    • Logger Sink：将数据输出到日志记录器，方便调试和查看。
    • ElasticSearch Sink：把数据写入到 elasticsearch 集群。

  3. Channel 常用类型：

    • Memory Channel：将数据存储在内存中，适合于低延迟和高吞吐量的场景。
    • File Channel：将数据存储在磁盘上的文件中，适合于顺序写入和持久化存储要求较高的场景。
    • JDBC Channel：将数据存储在关系型数据库中，适合于将 Flume 与其他应用集成的场景。
    • Kafka Channel：通过 Apache Kafka 消息队列实现数据传输，可用于实现消息的持久化和分布式传输。
    • Spillable Memory Channel：将Event存储在内存队列和磁盘上。

三、各类型常用的属性：

1.Source 常用属性：

  • Avro Source：

    属性

    默认值

    解释

    channels

    –

    与Source绑定的channel，多个用空格分开

    type

    –

    组件类型，这个是： avro

    bind

    –

    监听的服务器名hostname或者ip

    port

    –

    监听的端口

配置范例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
  • Exec Source：

    属性

    默认值

    解释

    channels

    –

    与Source绑定的channel，多个用空格分开

    type

    –

    组件类型，这个是： exec

    command

    –

    所使用的系统命令，一般是cat 或者tail

配置范例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/secure
a1.sources.r1.channels = c1
  • Spooling Directory Source：

    属性名

    默认值

    解释

    channels

    –

    与Source绑定的channel，多个用空格分开

    type

    –

    组件类型，这个是： spooldir.

    spoolDir

    –

    Flume Source监控的文件夹目录，该目录下的文件会被Flume收集

配置范例：

a1.channels = ch-1
a1.sources = src-1
a1.sources.src-1.type = spooldir
a1.sources.src-1.channels = ch-1
a1.sources.src-1.spoolDir = /var/log/apache/flumeSpool
a1.sources.src-1.fileHeader = true
  • Syslog Source：

    属性

    默认值

    解释

    channels

    –

    与Source绑定的channel，多个用空格分开

    type

    –

    组件类型，这个是： syslogtcp

    host

    –

    要监听的hostname或者IP地址

    port

    –

    要监听的端口

配置范例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = localhost
a1.sources.r1.channels = c1
  • Taidir Source：

    属性名

    默认值

    解释

    channels

    –

    与Source绑定的channel，多个用空格分开

    type

    –

    组件类型，这个是： TAILDIR.

    filegroups

    –

    被监控的文件夹目录集合，这些文件夹下的文件都会被监控，多个用空格分隔

    filegroups.<filegroupName>

    –

    被监控文件夹的绝对路径。正则表达式（注意不会匹配文件系统的目录）只是用来匹配文件名

配置范例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /var/log/test1/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /var/log/test2/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000

2.Sink 常用属性：

  • HDFS Sink：

    属性名

    默认值

    解释

    channel

    –

    与 Sink 连接的 channel

    type

    –

    组件类型，这个是： hdfs

    hdfs.path

    –

    HDFS目录路径（例如：hdfs://namenode/flume/webdata/）

配置范例：

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
  • HBase Sink：

    属性

    默认值

    解释

    channel

    –

    与 Sink 绑定的 channel

    type

    –

    组件类型，这个是： hbase

    table

    –

    要写入的 Hbase 表名

    columnFamily

    –

    要写入的 Hbase 列族

配置范例：

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = hbase
a1.sinks.k1.table = foo_table
a1.sinks.k1.columnFamily = bar_cf
a1.sinks.k1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer
a1.sinks.k1.channel = c1
  • Kafka Sink：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： org.apache.flume.sink.kafka.KafkaSink

    kafka.bootstrap.servers

    –

    Kafka Sink 使用的 Kafka 集群的实例列表，可以是实例的部分列表。但是更建议至少两个用于高可用（HA）支持。格式为 hostname:port，多个用逗号分隔

配置范例：

a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = mytopic
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy
  • Logger Sink：

    属性

    默认值

    解释

    channel

    –

    与 Sink 绑定的 channel

    type

    –

    组件类型，这个是： logger

    maxBytesToLog

    16

    Event body 输出到日志的最大字节数，超出的部分会被丢弃

配置范例：

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1
  • ElasticSearch Sink：

    属性

    默认值

    解释

    channel

    –

    与 Sink 绑定的 channel

    type

    –

    组件类型，这个是： org.apache.flume.sink.elasticsearch.ElasticSearchSink

    hostNames

    –

    逗号分隔的hostname:port列表，如果端口不存在，则使用默认的9300端口

配置范例：

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = elasticsearch
a1.sinks.k1.hostNames = 127.0.0.1:9200,127.0.0.2:9300
a1.sinks.k1.indexName = foo_index
a1.sinks.k1.indexType = bar_type
a1.sinks.k1.clusterName = foobar_cluster
a1.sinks.k1.batchSize = 500
a1.sinks.k1.ttl = 5d
a1.sinks.k1.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchDynamicSerializer
a1.sinks.k1.channel = c1

3.Channel 常用属性：

  • Memory Channel：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： memory

配置范例：

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 800000
  • File Channel：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： file.

配置范例：

a1.channels = c1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
a1.channels.c1.dataDirs = /mnt/flume/data
  • JDBC Channel：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： jdbc

配置范例：

a1.channels = c1
a1.channels.c1.type = jdbc
  • Kafka Channel：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： org.apache.flume.channel.kafka.KafkaChannel

    kafka.bootstrap.servers

    –

    channel使用的Kafka集群的实例列表，可以是实例的部分列表。但是更建议至少两个用于高可用支持。格式为hostname:port，多个用逗号分隔

配置范例：

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer
  • Spillable Memory Channel：

    属性

    默认值

    解释

    type

    –

    组件类型，这个是： SPILLABLEMEMORY

配置范例：

a1.channels = c1
a1.channels.c1.type = SPILLABLEMEMORY
a1.channels.c1.memoryCapacity = 10000
a1.channels.c1.overflowCapacity = 1000000
a1.channels.c1.byteCapacity = 800000
a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
a1.channels.c1.dataDirs = /mnt/flume/data
南&旧
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Flume简介、特点、核心概念及安装
qq_30612351的博客
11-09 1万+
一、什么是flume? flume是一个可分布式日志收集系统，为hadoop相关组件之一。 Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。 Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 二、Flume特性 Flume是一个分布式、可靠、和高可用的海量日志采.
flume详解
qq_45048256的博客
12-29 4413
flume详解
Flume 的基本介绍和安装部署
最新发布
weixin_44480009的博客
05-20 1058
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的框架服务Flume 基于流式架构，灵活简单，能够实时读取服务器本地磁盘的数据，将数据写入到 HDFS。
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 1674
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
Flume-三大核心组件
扛着锄头的码农
04-12 7862
Flume-三大核心组件 一、概念 Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的工具。 Flume中最简单的部署单元是Flume Agent，Agent是一个Java应用程序。 其中Agent包括三大核心组件，分别是source、channel和sink。 将数据从数据源采集过来，送到目的地，为保证输送成功，在送到目的地前，先缓存数据，待数据到达目的地后，删除缓存的数据。 e...
Flume详解
hello，Mr张
12-06 3449
1、Flume简介 （1）、flume提供分布式，可靠的，对海量的日志进行搞笑收集，聚集，移动的服务，flume只能在unix环境下运行； （2）、flume基于流式架构，容错性强，也很灵活简单； （3）、flume，kafka用来进行实时数据收集，spark、storm用来实时处理数据，impala用来实时查询； 二、Flume架构 2.1、source 用于采集收据，source是产生数据流...
Flume面试知识点总结
03-24
Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。...了解以上 Flume 的关键知识点，能够帮助你在面试中展示出对数据采集和流处理系统的深入理解，并为实际项目中的问题解决提供基础。
HDFS知识点总结
02-24
学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。HDFS是什么：HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是...
flume文档总结
01-30
Agent 知识点： Agent 是 Flume 的基本运行单元。Agent 里面包含三个核心的组件：Source、Channel 和 Sink。Source 负责收集数据，Channel 负责缓存数据，Sink 负责将数据发送到外部目的地。Agent 可以由多个 ...
IT十八掌_Flume阶段学习笔记(知识点总结)
09-03
IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结
HIve的调优和Flume的安装使用
KujyouRuri的博客
03-27 208
hive的存储格式与压缩方式的对比以及存储格式与压缩方式的选择 数据的存储格式： 两大类：行式存储 列式存储 四小种: 行式存储两种：textFile sequenceFile 列式存储两种：parquet orc 一般从他人获取的源数据多为textFile格式 经过分析之后通过insert overwrite select 将我们分析出来的结果插入到另外一张临时表里面就可以使用parquet 或者orc这些列式存储格式 存储于压缩相结合： 存储格式与压缩方式没有关系 实际工作当中一般存储格式与压
Flume是什么，有什么作用，flume的三个组件。
Dimples.
01-02 4818
Flume是一个分布式、可靠、和高可用的海量日志采集、聚和和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume提供对数据进行简单处理，并写到各种数据接收方(比如文本、HDFS、Hbase等)的能力。 Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agen...
flume（1）：三个内置基本组件：channel、source、sink
Diligence is the mother of success.
05-27 3458
2018年5月26日一、概念Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based...
Flume 组件
cs的博客
09-10 540
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理， 　　并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部...
Flume的简单介绍
weixin_43648241的博客
08-31 452
Flume有三大模块，一个是source，用来读取数据；一个是channel，用来缓存数据；一个是sink，用来输入数据。 source可以选择读取数据的类型、从哪里读取数据、一次读取的大小 channel
Flume功能简介
qq_31569207的博客
07-11 5087
优点：flume是一种分布式、可靠以及高可用的海量日志采集、聚合和传输的系统。功能：支持在日志系统中定制各类数据发送方，用于收集数据；同时可提供对数据进行简单处理，并具有写到各种数据接收方（HDFS、Hbase等）的能力。结构：Agent主要由：source，channel，sink三个组件组成。          source：从数据发生器接收数据，并将接的数据以flume的event格式传递给...
基于Flume的美团日志收集系统(一)架构和设计
美团技术团队
12-09 1414
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部分架构和设计，将主要着眼于日志收集系统整体的架构设计，以及为什么要做这样的设计。 第二部分改进和优化，将主要着眼于实...
Maven知识大集合
小匠杨的博客
10-21 247
导读 maven是我们常用的一个项目构建工具，了解它的配置文件对我们来说非常的有必要，这里通过一个spring boot类的父子模块来对配置文件做一个详细的说明。 父模块pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
Flume--Event定义及源码解析
weixin_42946624的博客
10-18 3487
Flume基本构成与Event结构 1. Event定义 一行文本内容被反序列化成一个event。event的最大定义为2048字节，超过会被切割放到下一个event中。 public interface Event { /** * Returns a map of name-value pairs describing the data stored in the body. ...
2020大数据面试精华：Java基础与多线程知识点总结
以下是详细的知识点解析： 1. **Java基础** - **HashMap实现原理**：HashMap是基于哈希表的数据结构，利用键的哈希码进行快速查找，具有O(1)的平均时间复杂度。它与ArrayList和LinkedList相比，插入和删除操作更...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值