Flume之进阶（一）

最新推荐文章于 2023-06-08 15:49:37 发布
最新推荐文章于 2023-06-08 15:49:37 发布
阅读量693 收藏 3
点赞数
分类专栏： # Flume 文章标签： flume big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42735631/article/details/120680763
版权

1. Flume 事务

在这里插入图片描述

Put事务:

  • doPut:将批数据先写入临时缓冲区putList
  • doCommit:检查channel内存队列是否足够合并
  • doRollback:channel内存队列空间不足，回滚数据

Take事务:

  • doTake:将数据取到临时缓冲区takeList，并将数据发送到HDFS
  • doCommit:如果数据全部发送成功，则清除临时缓冲区takeList
  • doRollback:数据发送过程中如果出现异常，rollback将临时缓冲区t akeList中的数据归还给channel内存队列

2. Flume Agent 内部原理

在这里插入图片描述

SinkProcessor:

  • DefaultSinkProcessor 对应的是单个的 Sink
  • LoadBalancingSinkProcessor对应的是 Sink Group，可以实现负
    载均衡的功能
  • FailoverSinkProcessor 对应的是 Sink Group，可以实现错误恢复的功能

3. Flume 拓扑结构

3.1 简单串联

在这里插入图片描述

此模式不建议桥接过多的 flume 数量， flume 数量过多不仅会影响传输速
率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统

3.2 复制和多路复用

Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个
channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地
在这里插入图片描述

案例分析
1. 案例需求

使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。

2. 需求分析

在这里插入图片描述

3. 实现步骤

  1. 准备工作

    • 在/opt/module/flume-1.9.0/jobs 目录下创建 group1 文件夹
      [codecat@hadoop102 jobs]$ mkdir group1
    • 在/opt/module/datas/目录下创建 flume3 文件夹
      [codecat@hadoop102 datas]$ mkdir flume3

  2. 创建 flume-file-flume.conf

    配置 1 个接收日志文件的 source 和两个 channel、两个 sink，分别输送给 flume-flume-hdfs 和 flume-flume-dir。添加如下内容

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有 channel
a1.sources.r1.selector.type = replicating
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive-3.1.2/logs/hive.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
# sink 端的 avro 是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

  3. 创建 flume-flume-hdfs.conf

    配置上级 Flume 输出的 Source，输出是到 HDFS 的 Sink。添加如下内容

    # Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
# source 端的 avro 是一个数据接收服务
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume2/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 30
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k1.hdfs.rollCount = 0
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

  4. 创建 flume-flume-dir.conf

    配置上级 Flume 输出的 Source，输出是到本地目录的 Sink。添加如下内容

    # Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/datas/flume3
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

    输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目
    录

  5. 执行配置文件

    由于avro的source为服务端，所以启动顺序应该为：

    [codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a3 -f jobs/group1/flume-flume-dir.conf

[codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a2 -f jobs/group1/flume-flume-hdfs.conf 

[codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a1 -f jobs/group1/flume-file-flume.conf

  6. 启动hive，检查 HDFS 上数据
    在这里插入图片描述

  7. 检查/opt/module/datas/flume3 目录中数据
    在这里插入图片描述

3.3 负载均衡和故障转移

Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能
在这里插入图片描述

案例分析
1. 案例需求

使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。

2. 需求分析在这里插入图片描述

  1. 创建 flume-netcat-flume.conf

    配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给flume-flume-console1 和 flume-flume-console2。添加如下内容：

    # Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

  2. 创建 flume-flume-console1.conf

    配置上级Flume 输出的Source，输出是到本地控制台。添加如下内容：

    # Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = logger
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

  3. 创建 flume-flume-console2.conf

    配置上级 Flume 输出的 Source，输出是到本地控制台。添加如下内容：

    # Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

  4. 执行配置文件

    [codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a3 -f jobs/group2/flume-flume-console2.conf -Dflume.root.logger=INFO,console

[codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a2 -f jobs/group2/flume-flume-console1.conf -Dflume.root.logger=INFO,console

[codecat@hadoop102 flume-1.9.0]$ flume-ng agent -c conf/ -n a1 -f jobs/group2/flume-netcat-flume.conf

  5. 使用 netcat 工具向本机的 44444 端口发送内容
    在这里插入图片描述

  6. 查看 Flume2及 Flume3 的控制台打印日志
    在这里插入图片描述

    在这里插入图片描述

3.4 聚合

在这里插入图片描述

案例分析
1. 案例需求

hadoop102 上的 Flume-1 监控文件/opt/module/group.log

hadoop103 上的 Flume-2 监控某一个端口的数据流

Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到控制台

2. 需求分析在这里插入图片描述
3. 实现步骤

  1. 准备工作

    // 分发 Flume
[codecat@hadoop102 module]$ xsync flume-1.9.0/

[codecat@hadoop102 jobs]$ mkdir group3
[codecat@hadoop103 jobs]$ mkdir group3
[codecat@hadoop104 jobs]$ mkdir group3

  2. 在 hadoop102 上创建 flume1-logger-flume.conf

    [codecat@hadoop102 group3]$ vim flume1-logger-flume.conf

    添加如下内容

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/group.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  3. 在 hadoop103 上创建 flume2-netcat-flume.conf

    [codecat@hadoop103 group3]$ vim flume2-netcat-flume.conf

    添加如下内容

    # Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = hadoop103
a2.sources.r1.port = 44444
# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141
# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

  4. 在 hadoop104 上创建 flume3-flume-logger.conf

    [codecat@hadoop104 group3]$ vim flume3-flume-logger.conf

    添加如下内容

    # Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141
# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

  5. 执行配置文件

    [codecat@hadoop104 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a3 -f jobs/group3/flume3-flume-logger.conf -Dflume.root.logger=INFO,console

[codecat@hadoop102 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a2 -f jobs/group3/flume1-logger-flume.conf 

[codecat@hadoop103 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a2 -f jobs/group3/flume2-netcat-flume.conf

  6. 在 hadoop102 上向/opt/module 目录下的 group.log 追加内容

    [codecat@hadoop102 module]$ echo 'hello' > group.log

  7. 在 hadoop103 上向 44444 端口发送数据
    在这里插入图片描述

  8. 检查 hadoop104 上数据
    在这里插入图片描述

何如千泷
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据学习——Flume入门
5akura's Blog
08-06 1600
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
头歌Flume采集方案管理答案
maxiangdongkk的博客
05-28 1352
定义三大组件的名称 和关联?#定义Source的相关属性?#定义channel的相关属性?#定义Sink的相关属性#下面三个条件满足其一，就会产生新文件#新文件产生的时间周期，单位是秒， 如果设置为0表示不会产生新文件。#当前文件达到1000字节，就会产生新文件#当前文件的event数量达到10条，就会产生新文件#如果writeFormat指定了Text,那么fileType必须是DataStream?
头歌flume拦截器答案
maxiangdongkk的博客
06-02 1005
Flume1/flume.conf配置文件#agent名为a1;#采集 /opt/flume/data目录下所有文件#channel选择memery#落地到hdfs的hdfs://localhost:9000/flume/文件名的前缀/文件名上的日期#文件格式设为DataStream#根据时间回滚，3s配置文件/***/
Flume 从 0 到 1 学习 —— 第二章 Flume 快速入门
dwjf321的博客
01-11 681
flume 安装、配置、自定义拦截器
Flume安装及测试
哈
03-15 1517
前置博客 安装telnet 安装 将apache-flume-1.9.0-bin.tar.gz上传到并解压到linux的/url/local目录下 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件 测试： 示例：监听指定端口telnet发送来的数据 第一步：在flume目录下创建文件夹job，然后在其下...
Flume进阶-自定义拦截器jar包
最新发布
04-28
Flume进阶-自定义拦截器jar包
大数据技术之Flume教程
04-18
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 第一章 Flume概述 第二章 Flume入门 第三章 Flume进阶 第四章 企业真题面试
flume入门级
01-07
一、下载 [pxj@pxj /opt]$sudo wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.16.2.tar.gz [sudo] pxj 的密码： --2020-02-13 01:21:32-- ...
基于Hadoop、Spark、FLUME、HIVE等大数据组件搭建的一个分布式集群环境下的电影推荐及日志分析平台+源代码文档说明
03-26
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
基于flume ,kafka , spark-streaming 统计分析大数据实战项目+源代码+文档说明
04-09
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
Flume系列2-Flume 入门
只是甲的博客
12-24 1536
文章目录一. Flume 安装部署二. Flume 入门案例2.1 监控端口数据官方案例2.1.1 安装netcat2.1.2 创建 Flume Agent 配置文件2.1.3 先开启 flume 监听端口2.1.4 开启netcat2.1.5 在 Flume 监听页面观察接收数据情况2.2 实时监控单个追加文件2.2.1 创建 flume配置文件2.2.2 运行Flume2.2.3 开启Hive 并操作 Hive 产生日志2.3 实时监控目录下多个新文件2.3.1 创建配置文件2.3.2 启动监控文件夹命
Web程序设计基础 educoder头歌参考答案
热门推荐
weixin_51517370的博客
11-23 1万+
为防止和谐，请移步博客查看???? 小何的世界
头歌（educoder）实训作业题目及答案分享 ——1-4 Java入门 - 分支结构
weixin_46468815的博客
04-04 1万+
新鲜出炉的Java实训训练题，题目要求结合解析与答案，点进来看一看，学一学，动手敲一敲，一起快速入门Java吧！
头歌Flume故障转移答案
2301_78261583的博客
06-08 228
Describe/configure the source 设置 source 属性。# Describe/configure the source 设置 source 属性。# Describe the channel 设置 channel 属性。# Describe the channel 设置 channel 属性。# Describe the sink 设置 sink 属性。# Describe the sink 设置 sink 属性。
（一）Flume概述及快速入门
fseast的博客
09-29 2338
目录一、Flume概述1. Flume定义2. Flume基础架构2.1 Agent2.2 Source2.3 Sink2.4 Channel2.5 Event二、Flume快速入门1. Flume安装部署1.1 安装地址1.2 安装部署2. Flume入门案例2.1 监控端口数据案例 一、Flume概述 1. Flume定义   Flume是Cloudera提供的一个高可用的，高可靠的，分布式的...
Flume ——故障转移
WJWFighting的博客
08-02 3447
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 简单的说就是一个source 对应一个Sinkgroups，即多个sink,这里实际上与第六节的复用/复制情况差不多，只是这里考虑的是可靠性与性能，即故障转移与负载均衡的设置。 下面是官方配...
【总结】Flume的负载均衡和故障转移
克里斯的博客
01-06 1087
总结一下在学 Flume的故障转移和负载均衡的知识和经验总结
flume故障转移详解
weixin_46122692的博客
11-23 677
1、需求： 使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3 LoadBalancingSinkProcessor可以实现负载均衡的功能，FailoverSinkProcessor可以实现故障转移的功能. 2、需求分析 3、准备 在/data/flume/apache-flume/job目录下创建group2文件夹 cd /data/flume/apache-flume/job mkdir group2 4、创建flume1 agent配置文件flume-n
Flume>采集案例(2)
qq_44509920的博客
12-05 305
文章目录1、采集目录到HDFS启动flume具体代码2、采集文件到HDFS定义flume的配置文件启动flume具体代码开发shell脚本定时追加文件内容3、两个agent级联第一步：node02安装flume第二步：node02配置flume配置文件第三步：node02开发定脚本文件往写入数据第四步：node03开发flume配置文件第五步：顺序启动具体代码 1、采集目录到HDFS 需求分析 结...
头歌--第1关flume详解及简单使用
06-03
非常感谢您的提问！关于Flume的详解和简单使用，我可以为您提供以下信息： Flume是一个可靠、高可用并且分布式的日志收集、聚合和传输系统。它可以帮助您从不同的数据源（如日志文件、消息队列、网络流量等）中收集数据，并将这些数据传输到目标系统中（如Hadoop、HBase、Elasticsearch等）。下面是一些简单的使用步骤： 1. 安装Flume：您可以从Apache官网下载Flume的二进制安装包，并根据官方文档进行安装和配置。 2. 编写Flume配置文件：Flume的配置文件定义了数据源、数据处理和目标系统等信息。您需要根据具体的需求编写配置文件，以便Flume可以正确地收集和传输数据。 3. 启动Flume agent：在配置文件编写完成后，您可以使用命令行工具启动Flume agent，并将其连接到目标系统。 4. 监控和维护：Flume提供了一些监控和诊断工具，可以帮助您及时发现和解决问题。 总之，Flume是一个非常强大的数据收集和传输工具，可以帮助您简化数据处理和分析的过程。如果您有更多的问题或需要进一步的帮助，请随时问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值