flume笔记（一）：基础/概述/案例

于 2022-09-24 13:00:35 发布
阅读量520 收藏 2
点赞数 3
分类专栏： flume 文章标签： flume 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55906442/article/details/126826464
版权

目录

flume概述

定义

基础框架

案例

监控端口数据官方案例

实时监控单个追加文件

实时监控目录下多个新文件夹

实时监控目录下的多个追加文件

flume概述

定义

Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统；基于流式架构，灵活简单。

Flume最主要的作用是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

基础框架

基础框架图

 

Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。

Agent主要有3个部分组成：source、channel、sink。

Source

Source是负责接收数据到Flume Agent的组件。

Source组件可以处理各种类型、各种格式的日志数据，包括：avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。

Channel

Channel是位于Source和Sink之间的缓冲区，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。

Flume自带两种Channel：Memory Channel、File Channel。

Memory Channel是内存中的队列，在不需要关心数据丢失的情景下适用。需要关心数据丢失问题时不适用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

Sink

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。

Sink组件的目的地包括：hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

Event

event是Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。

Event由Header和Body两部分组成；Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

header（k-v）body（byte array）

案例

（1）下载安装netcat

sudo yum install -y nc

监控端口数据官方案例

（1）需求：使用flume监控一个端口，收集端口数据并打印到控制台。

（2）分析：

1）通过netcat工具向本机的44444端口发送数据；

2）flume监控44444端口，通过flume的source端读取数据；

3）flume将获取的数据通过sink写出到控制台。

（3）判断netcat的44444端口是否被占用

sudo netstat -nlp | grep 44444

 

无占用

（4）创建agent

1）在flume的目录下创建job文件夹，在job文件夹下创建netcat-flume-logger.conf

mkdir job

vim netcat-flume-logger.conf

2）编写netcat-flume-logger.conf

#Name the components on this agent
# a1代表着我们的agent的命名
# r1、k1、c1 分别代表我们的source sink channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
# 这是source的配置
a1.sources.r1.type = netcat
a1.sources.r1.bind = hadoop01
a1.sources.r1.port = 44444

# Describe the sink
# sink的配置
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
# 这个地方是channel的配置， 使用的是内存作为缓存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# source channel sink三个组件绑定的配置
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（5）测试

1）开启flume监控端口

bin/flume-ng agent -c conf/ -n a1 -f job/netcat-flume-logger.conf -Dflume.root.logger=INFO,console

2）使用netcat工具向本机的44444端口发送内容

nc hadoop01 44444

3）在flume端口观察数据

实时监控单个追加文件

（1）需求：实时监控hive日志，并上传到HDFS

（2）分析：

1）创建flume文件；

2）执行文件，开启监控；

3）开启hive生成日志；

4）查看HDFS数据。

（3）在flume的job目录下创建conf文件

vim flume-hive-hdfs.conf

编写：

#agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

#source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /tmp/root/hive.log

#sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop01:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0

#channel
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

#source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

注：对于所有与时间相关的转义序列，Event Header中必须存在以 “timestamp”的key（除非hdfs.useLocalTimeStamp设置为true，此方法会使用TimestampInterceptor自动添加timestamp）

（4）测试

运行flume。启动hive

flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-hive-hdfs.conf

实时监控目录下多个新文件夹

（1）需求：用flume监控整个目录的文件并上传到HDFS

（2）分析：

1）创建flume文件；

2）执行文件开启监控；

3）向目录中添加文件；

4）查看HDFS上的数据；

5）查看目录中的文件是否标记.COMPLETED。

（3）创建flume-dir-hdfs.conf

编写：

a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp 结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = 
hdfs://hadoop102:9820/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload- #是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

（4）测试

1）启动监控文件夹命令

 bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

说明：在使用Spooling Directory Source时不要在监控目录中创建并持续修改文件；上传完成的文件会以.COMPLETED结尾；被监控文件夹每500毫秒扫描一次文件变动。

2）添加文件，查看数据及变化

实时监控目录下的多个追加文件

Exec source适用于监控一个实时追加的文件，不能实现断点续传；

Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；

Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。

（1）需求：使用flume监听整个目录的实时追加文件

（2）分析

1）创建flume文件；

2）执行文件，开启监控；

3）向监控文件中追加内容；

4）查看HDFS上数据；

（3）实现步骤

1）创建flume-taildir-hdfs.conf

2）代码：

a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = TAILDIR
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files2/.*log.*
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = 
hdfs://hadoop102:9820/flume/upload2/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

3）启动监控文件夹命令

 bin/flume-ng agent --conf conf/ --name 
a3 --conf-file job/flume-taildir-hdfs.conf

4）向 files 文件夹中追加内容

echo hello >> file1.txt
echo atguigu >> file2.txt

5）查看 HDFS 上的数据

Taildir说明：

Taildir Source维护了一个json格式的position File，其会定期的往position File中更新每个文件读取到的最新的位置，因此能够实现断点续传。

本文为学习笔记！！！

一个人的牛牛
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume1.6.0入门：安装、部署、及flume的案例
01-07
#### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统，适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG（Original Generation），随着功能的不断扩展和完善，...
Hadoop学习（15）-- Flume 入门案例
一个人的江湖
05-05 1750
1. 监控端口数据官方案例 案例需求：首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 1.1 实现步骤 安装telnet工具 判断44444端口是否被占用 sudo netstat -tunlp | grep 44444 创建Flume Agent配置文件flume-telnet-logger.conf 在flume目录下创建job文件夹并进入job文件夹。 mkdir job cd job/ 在job文件夹下
Flume快速入门系列(2) | Flume的安装及监控端口实例
不温卜火
05-11 8971
  上一篇我们已经简单的介绍了Flume，那么这一篇文章博主继续为大家介绍如何安装Flume以及Flume怎样监控端口数据的官方案例。 目录1. 安装部署2. 监控端口数据实例2.1 需求2.2 需求分析2.3 实现步骤1. 安装netcat工具2. 判断44444端口是否被占用3. 创建Flume Agent配置文件flume-netcat-logger.conf3. 思考   此部分所需要的...
大数据技术之Flume
weixin_30918415的博客
04-02 156
第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示： 图1-1 Flume组成架构 图1-2 Flume组成架构详解 下面我们来详细介绍一下Flume架...
Flume-实时监控单目录下的多个新文件案例，实时监控多目录下的多个追加文件案例
一个写湿的程序猿
08-09 1319
文章目录实时监控目录下多个新文件实时监控多目录下的多个追加文件 实时监控目录下多个新文件 1）案例需求： 使用flume监控某个目录下的日志文件，当某个目录下出现符合要求的文件名称的文件时，则对文件中的日志数据进行读取，并将数据最终写入到hdfs上 2）需求分析： 3）实现步骤： （1）创建配置文件files-flume-hdfs.conf 创建一个文件 [qinjl@hadoop102 job]$ vim files-flume-hdfs.conf 添加如下内容 a3.sources = r3 a3.
Flume案例Ganglia监控
菜鸟清风http://www.hphblog.cn/
01-07 5970
Flume案例和Flume监控系统的使用： 安装 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下 解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 1[hadoop@datanode1 software]$ tar -zxf ap...
Flume1.5.0入门：安装、部署、及flume的案例
01-27
Flume 是一个由 Cloudera 开发的实时日志收集系统，现在已成为 Apache 的顶级项目。它的主要功能是在大规模分布式环境中可靠地收集、聚合和传输海量日志数据。Flume 提供了高度可配置和可扩展的架构，使得数据源...
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # ...
1）大数据之Flume（概述）
zy
10-04 201
概述： Flume定义 Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume基于流式架构，简单灵活。 为什么选择flume： Flume最主要的作用就是：实时读取服务器本地磁盘的数据，写入到HDFS。 组成架构 Flume的组成架构图(简单)： Flume的组成架构图(详细)： Flume架构中的组件： Agent： Agent...
Flume基础学习
微瞰技术的博客
02-13 765
Flume是一款非常优秀的日志采集工具。支持多种形式的日志采集，作为apache的顶级开源项目，Flume再大数据方面具有广泛的应用 首先需要在Flume的解压目录中conf文件夹中将flume-env.sh.templete更改未flume.env.sh 并修改jdk的位置 Source 我们可以从Avro，NetCat。Http,TailDir。我们在Java开发中通常都是使用的log4j等日...
大数据学习_数据采集工具 Flume
qq_41612830的博客
02-22 850
目录1 Flume概述1.1 Flume的定义1.2 Flume体系结构1.3 Flume拓扑结构2 1 Flume概述 1.1 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集日志的数据采集引擎。 Flume有3个重要组件：Source、Channel、Sink 特点： 分布
安装flume,并简单使用
dd1296的博客
08-16 324
1、安装flume 首先解压flume安装包到CentOS7虚拟机的指定目录(基本操作) tar -zxf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt 进入到/opt文件夹（刚刚安装flume的文件夹），改名 mv apache-flume-1.6.0-cdh5.14.0-bin/ flume160514 进入/flume160514/conf 复制flume-env.sh.template cp flume-env.sh.template flume-env.sh 修改
使用flume收集文件数据传输至kafka
beyond丿灬的博客
06-13 573
不做过多介绍 直接实现目的 kafka和flume的包就自行百度即可,kafka的安装教程:https://blog.csdn.net/qq_41594146/article/details/100153434 flume的话直接下载后解压即可用 直接上解释的配置文件: #agent name :a1 #给代理取的名字 a1.sources = r1 #sources认定下方带r1 a1.sinks = k1 #理解同上 a1.channels = c1 #理解同上...
flume使用四个案例(监听端口，监听文件并传到另外一台电脑，监听文件夹，监听文件夹并将数据保存到hdfs)
weixin_43813200的博客
10-27 1115
flume4个学习案例1.案例一监听端口到界面1.1监听端口配置信息1.2 执行1.3 监听端口测试2监听文件并传到另外一台电脑上界面2.1配置信息(监听文件->avro->nodez001->logger)2.2 执行2.3 测试3 监听文件夹到界面3.1 配置信息3.2 执行3.3 测试4 监听文件到hdfs4.1 配置信息4.2 执行3.3 测试未完待续 1.案例一监听端口到界面 1.1监听端口配置信息 ## 配置信息 ## 文件名 example-netcat.conf a1.s
Flume对文件夹进行监控，实时收集新增文件到HDFS
Rain的博客
03-31 3222
- 背景 由于项目要求，需要实时将指定文件夹中新增的文件上传到HDFS中，本文中使用flume采集数据并保存到HDFS中，一方面可以减轻本地的存储压力，另一方面数据集中保存到HDFS也为后续数据分析工作打下基础。 - 实现流程 flume中的source组件选用spooling directory类型，此类型能对文件目录进行监控并实时收集目录中新增的文件。本文中采用此种类型对本地存储相关数据的目...
Flume经典案例之实时监控多个新文件（保姆级教程）
wanjialin的博客
12-26 825
准备工作： 1、准备多个大文件，以备后面使用 2、提前创建好目录和文件上传至linux中 操作步骤： 1、首先先将我们要操作的文件拷贝到指定的文件夹下，方便一会使用命令和写配置文件 命令cp events.csv flumelogfile/events/events_2021-12-26.csv 2、创建events-flume-logger.conf 内容如下： events.sources=eventsSource events.channels=eventsChannel events.sinks=e
flume实时抓取案例---exec
qq_45232054的博客
06-20 475
1.flume实时抓取案列—exec ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 ag1.sources.source1.type = exec ag1.sources.source1.command = tail -F /root/log/access.log ag1.sinks.sink1.type = hdfs ag1.sinks.sink1.hdfs.path =hdfs://kmmaster:8020/acce
大数据之Flume：监控多个新文件
weixin_43597208的博客
01-27 350
1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS 2）需求分析： 3）实现步骤： 使用组件 spooldir source 1．创建配置文件flume-dir-hdfs.conf 创建一个文件 [hadoop@hadoop101 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.
flume安装和实时监控44444端口的一个案例
海涛高软
07-02 1424
flume软件下载地址：http://flume.apache.org/ 打开SecureCRT这个软件，切换到 /usr/local目录 然后将apache-flume-1.9.0-bin.tar.gz拖到SecureCRT软件中，选择send zmodem，开始上传 tar -zxvf apache-flume-1.9.0-bin.tar.gz 解压 rm -...
[atguigu@node11 flume]$ echo $PATH /home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/usr/java/jdk1.8.0_361/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_361/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/sbt:/usr/local/flume/bin:/usr/local/hbase/bin:/home/atguigu/.local/bin:/home/atguigu/bin
最新发布
06-11
从您提供的输出来看，您的Flume安装路径为"/usr/local/flume/bin"，并且在环境变量中已经正确配置了Flume的安装路径。因此，Flume的安装路径应该是正确的。 您可以尝试在Flume的安装目录下执行"./bin/flume-ng ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值