day04 ---- Flume

最新推荐文章于 2023-10-18 20:48:08 发布
最新推荐文章于 2023-10-18 20:48:08 发布
阅读量139 收藏
点赞数
分类专栏： 大数据学习总结 文章标签： flume hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45736735/article/details/123183289
版权

1 Apache Flume

日志收集
https://flume.apache.org/

1.1 概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。

Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel 管道),待数据真正到达目的地(sink 水槽，下沉点)后，flume在删除自己缓存的数据。

Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据接受方，用于最终存储数据。一般的采集需求，通过对flume的简单配置即可实现。针对特殊场景也具备良好的自定义扩展能力。因此，flume可以适用于大部分的日常数据采集场景。

当前Flume有两个版本。Flume 0.9X版本的统称Flume OG（original generation），
Flume1.X版本的统称Flume NG（next generation）。
由于Flume NG经过核心组件、核心配置以及代码架构重构，与Flume OG有很大不同，使用时请注意区分。改动的另一原因是将Flume纳入 apache 旗下，Cloudera Flume 改名为 Apache Flume。

在这里插入图片描述

1.2 运行机制

Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。​

Agent：代理，flume集群中，每个节点都是一个agent，包含了flume单节点：接受、封装、承载、传输event到目的地的过程。这个过程中包含三部分（source、channel、sink）。

每一个agent相当于一个数据传递员，内部有三个组件：

Source：采集源，用于跟数据源对接，以获取数据；（指定数据源位置）

Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往 最终存储系统传递数据；（数据保存的位置）

Channel：agent内部的数据传输通道，用于从source将数据传递到sink；（数据传递的方式）

在整个数据的传输的过程中，流动的是event，它是Flume内部数据传输的最基本单元。event将传输的数据进行封装。如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。

一个完整的event包括：event headers、event body、event信息，其中event信息就是flume收集到的日记记录。
event 传递数据的基本单元，一个event就是一条数据。
主要包括event header，event body，其中数据就是放入body中传递的。

1.3 Flume安装部署

解压
指定jdk位置

1.3.1 上传解压

上传安装包到数据源所在节点上
然后解压

tar -xvzf apache-flume-1.9.0-bin.tar.gz -C ../servers/

在这里插入图片描述
改名字

mv apache-flume-1.9.0-bin/ flume-1.9.0

在这里插入图片描述

1.3.2 配置JAVA_HOME

然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME

vim flume-env.sh

在这里插入图片描述

在这里插入图片描述
打开注释，改正确 jdk 位置
在这里插入图片描述

1.3.3 添加配置文件http_logger.properties

vim http_logger.properties

配置如下内容：

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

1.3.4 启动服务

在/opt/servers/flume-1.9.0/目录下执行

bin/flume-ng agent -c conf -f conf/http_logger.properties -n a1 -Dflume.root.logger=INFO,console

注：

-c conf 指定flume自身的配置文件所在目录

-f conf/netcat-logger.con 指定我们所描述的采集方案

-n a1 指定我们这个agent的名字
在这里插入图片描述

flume启动后占用当前窗口，复制一个新的窗口在任意目录下执行以下

curl -X POST -d '[{"headers":{"tester":"tony"},"body":"hello http flume"}]' http://hadoop01:22222

在这里插入图片描述
在这里插入图片描述

1.3.5 配置文件详解

#a1为自定义的agent名字，与启动命令中的-n属性对应
# sources,sinks,channels s 复数
a1.sources  =  r1     #定义agent的数据源source，可以有多个。  数据源别名
a1.sinks  =  k1       #定义agent的数据出处，可以有多个。
a1.channels  =  c1    #定义agent的通道，一般有多少个sink就有多少个channel

a1.sources.r1.type  =  http   #指定source的类型http
a1.sources.r1.bind  =  0.0.0.0  #指定source的来源。一般为本机，被动接收
a1.sources.r1.port  =  22222    #指定端口

a1.sinks.k1.type  =  logger  #前端日志打印输出
 
a1.channels.c1.type  =  memory       #指定channel的类型为 内存
a1.channels.c1.capacity  =  1000     #指定存储容量，避免强制抢占内存影响其他进程的正常运行 （最多存1000条数据）
a1.channels.c1.transactionCapacity  =  100  #指定事务容量 （100条传递一次）
 
a1.sources.r1.channels  =  c1    #绑定source
a1.sinks.k1.channel  =  c1       #绑定sink

2. Source练习

2.1avro

创建采集方案 在conf下

https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#avro-source
在这里插入图片描述
在这里插入图片描述
File 本地磁盘 不会丢失数据，效率低
在这里插入图片描述

vim avro_logger.conf

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 22222


a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
# a1.channels.c1.byteCapacityBufferPercentage = 20 #缓冲区百分比
# a1.channels.c1.byteCapacity = 800000

a1.sinks.k1.type = logger

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动

 bin/flume-ng agent -c conf -f conf/http_logger.properties -n a1 -Dflume.root.logger=INFO,console

再开一个窗口
在这里插入图片描述

模拟发送avro在flume的bin目录下执行：

bin/flume-ng avro-client -c conf -H hadoop01 -p 22222 -F /opt/data/flumedata/log.txt

在这里插入图片描述

2.2 Spooldir

spooldir：source源，用于监控文件目录

注意：

1）对于文件中要源源不断写入的这情况，不适合使用spooldir。

2）对于已经监控的文件，如果有相同文件名再次放入到监控目录中，此时服务会报错，并不再进行监控。

bin/flume-ng agent -c conf/ -f conf/spooldir_logger.conf -n a1 -Dflume.root.logger=INFO,console

在这里插入图片描述
在这里插入图片描述

持续监控 ，放入新的文件，也会被马上收集
在这里插入图片描述
`.COMPLETED：认为是已收集状态
出现重名的会down

2.3采集目录到HDFS

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
##注意：不能往监控目中重复丢同名文件
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/data/spooldir
#a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
#获取时间
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在这里插入图片描述
bin/flume-ng agent -c conf/ -f conf/spooldir_logger.conf -n a1 -Dflume.root.logger=INFO,console

2.4 采集文件到HDFS

监控持续写入的文件
在这里插入图片描述

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/data/exec/test.log

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/exec/%y-%m-%d/%H%M/
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

在这里插入图片描述

bin/flume-ng agent -c conf/ -f conf/exec_hdfs.conf -n a1 -Dflume.root.logger=INFO,console

开发shell脚本定时追加文件内容

mkdir -p /opt/servers/shells/

cd  /opt/servers/shells/

vim exec.sh


#!/bin/bash

while true

do

 date >> /opt/data/exec/test.log;

  sleep 0.5;

done

启动脚本

sh /opt/servers/shells/exec.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.5 TailDir的使用

同时监控多个文件的持续写入

固定文件：1.txt 2.txt

持续写入文件：test.log 3.txt

vim taildir_logger.conf

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/data/taildir/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/data/taildir/a/.*txt.*
a1.sources.r1.filegroups.f2 = /opt/data/taildir/b/test.log
a1.sources.r1.maxBatchCount = 1000
a1.sources.r1.fileHeader = true
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000

a1.sinks.k1.type = logger

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

前置准备

  1. /opt/data/taildir 下创建a，b文件夹
    mkdir a
mkdir b
  2. a 下创建 1.txt，2.txt
    echo "hello 1 txt" >> 1.txt
echo "hello 2 txt" >> 2.txt
  3. b 下创建 taildir.sh 脚本
    while true

do

 date >> /opt/data/taildir/b/test.log;

  sleep 0.5;

done

在这里插入图片描述

bin/flume-ng agent -c conf/ -f conf/taildir_logger.conf -n a1 -Dflume.root.logger=INFO,console

3 集群部署

Hadoop01：JDK、Hadoop、Flume

Hadoop02：JDK、Flume

Hadoop03：JDK、Flume

只需要将hadoop01安装好的Flume文件夹发送到02 03两个节点相应的位置即可。

scp -r flume-1.9.0/ hadoop02:$PWD
scp -r flume-1.9.0/ hadoop03:$PWD

3.1 案例 多级

多个节点的连接

01 02 下沉
03 打印
在这里插入图片描述
在这里插入图片描述

Hadoop01

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  avro
a1.sinks.k1.hostname  =  hadoop02
a1.sinks.k1.port  =  22222
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

Hadoop02

a1.sources  =  r1
a1.sinks  =  k1 
a1.channels  =  c1
 
a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  avro
a1.sinks.k1.hostname  =  hadoop03
a1.sinks.k1.port  =  22222

 
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

hadoop03

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  logger

a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

启动顺序 03，02，01

## 03 flume
bin/flume-ng agent -c conf/ -f conf/a2a_avro_logger.conf -n a1 -Dflume.root.logger=INFO,console
# 02
bin/flume-ng agent -c conf/ -f conf/a2a_avro_avro.conf -n a1 -Dflume.root.logger=INFO,console
# 01
bin/flume-ng agent -c conf/ -f conf/a2a_http_avro.conf -n a1 -Dflume.root.logger=INFO,console

01 02 下沉
03 打印

curl -X POST -d '[{"headers":{"tester":"tony"},"body":"hello http flume"}]' http://hadoop01:22222

在这里插入图片描述

03 节点接收
在这里插入图片描述

3.2 扇入 fanin

多个节点同时指向一个节点

3.3 扇出fanout

在这里插入图片描述

愿逐月华！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Flume
qq_40822132的博客
12-28 2025
Apache Flume是一个分布式、可靠的、高可用的数据采集、聚合系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 856
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】
m0_71592416的博客
05-25 759
Apache Flume是一个开源的、分布式的数据采集系统，旨在可靠地、高效地从各种数据源采集、聚合和传输数据到目的地。Flume的设计目标是解决大规模数据采集的可靠性和扩展性问题。其基于可插拔的架构和配置驱动的方式，使得用户可以方便地定制和扩展数据采集的流程。
Apache Flume:详细介绍
12-04 6143
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。 Flume支持定制各类数据发送...
apache-flume-1.7.0-bin.zip
09-23
apache-flume-1.7.0-bin.zip
flume-ng安装
01-05
flume-ng安装
flume-ng-sql-source-1.5.2
10-12
flume-ng-sql-source-1.5.2源码
apache-flume-1.5.0-cdh5.3.6-bin.zip
03-15
flume-1.5.0-cdh5.3.6。 大数据日志收集工具 flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志...
flume-interceptor-1.0-SNAPSHOT.jar
08-16
注意：flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-...
flume
csdnaaaaa1的博客
02-06 239
Apache Flume 是一个分布式的、可靠的、可用的系统，用于高效地 从许多地方收集、汇总和移动大量日志数据 不同的来源到一个集中的数据存储。Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume可以用来传输海量数据 事件数据包括但不限于网络流量数据、社交媒体生成的数据、 电子邮件和几乎所有可能的数据源。Apache Flume 是 Apache 软件基金会的顶级项目。
深入探索Apache Flume：
最新发布
qq_73992463的博客
10-18 161
在当今大数据时代，数据的传输和处理成为了重要的任务。Apache Flume作为一个强大而灵活的数据传输工具，为我们提供了解决大数据传输和处理需求的理想解决方案。本文将深入探索Apache Flume的特点、工作原理以及应用场景，帮助读者全面了解并学会使用这一工具。
Apache Flume （完整篇）
麦田里的守望者-蒋中洲【相信相信的力量】
05-08 4592
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 概述 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制...
Apache Flume介绍和使用
zhaoguowei的博客
11-15 910
Apache Flume是什么 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，通常用于海量数据的实施采集和传输，如:海量日志数据。目前主要使用Flume-NG版本。 下面这张图是Flume的基础架构图： 外部数据源以特定格式向 Flume 发送 events (事件)，当 source 接收到 events 时，它将其存储到一个或多个 channel，channe 会一直...
Flume_日志收集工具
xike1024的博客
06-16 469
目录 一、前言 二、简介 2.1 概述 2.2 发展历程 2.3 基本思想及特点 三、Flume NG 基本架构 3.1 基本架构 3.2 Agent 内部组件 1、Source 2、Channel 3、Sink 3.3 高级组件 1、Interceptor 2、Channel Selector 3、Sink Processer 四、Flume NG 数据流拓扑构建方法 4.1 如何构建数据流拓扑 4.2 流式数据获取方式 4.2 常见拓扑架构 1、多路合并 .
Apache Flume 简介
weixin_34377065的博客
01-08 130
转自：http://blog.163.com/guaiguai_family/blog/static/20078414520138100562883/ Flume 是 Cloudera 公司开源出来的一套日志收集系统，早期版本依赖 ZooKeeper，现在的 FumeNG 去掉了这个依赖，我没用过之前的版本，想来失去整个日志收集系统的全局视图是挺可惜的，但 FlumeNG 上手以及使用挺简单，搭...
启动文件file-flume-kafka.conf
06-10
好的，以下是一个示例的file-flume-kafka.conf配置文件，您可以根据自己的需求进行修改： ```properties # Name the components on this agent kafka-flume-agent.sources = kafka-source kafka-flume-agent....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值