1、Flume入门

已于 2022-11-14 10:26:51 修改
阅读量211 收藏
点赞数
分类专栏： # flume学习笔记 文章标签： flume java java-zookeeper
于 2022-10-13 13:42:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53336038/article/details/127299606
版权

目录

Flume基础框架：（Agent，Sink，Source，Channel​​​​​​​，Event​​​​​​​）

1. 入门案例1: 监控端口数据

2. 入门案例2​​​​​​​

Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

Flume基础框架：（Agent​​​​​​​，Sink，Source，Channel​​​​​​​，Event​​​​​​​）

1 Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。

Agent主要有3个部分组成，Source、Channel、Sink。

2 Source

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、 taildir 、sequence generator、syslog、http、legacy。

3 Sink

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

4 Channel

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。

Flume自带两种Channel：Memory Channel和File Channel。

Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

5 Event

传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

 

$重点命令 

netcat Source

从端口读数据
exec Source支持linux命令
spooling Source监控多个新文件
taildir Source监控多个追加文件

1. 入门案例1: 监控端口数据

配置文件名: netcat-flume-logger.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1 

#Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 6666

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = logger

#Bind
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

启动: flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/jobs/netcat-flume-logger.conf --name a1 -Dflume.root.logger=INFO,console

2. 入门案例2

2.1  实时监控单个追加文件,将内容打印到控制台

配置文件名字: exec-flume-logger.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1 

#Source
a1.sources.r1.type = exec 
a1.sources.r1.command = tail -f /opt/module/flume-1.9.0/jobs/tail.txt

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = logger

#Bind
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

启动: flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/jobs/netcat-flume-logger.conf --name a1 -Dflume.root.logger=INFO,console

启动: flume-ng agent -c  $FLUME_HOME/conf  -f  $FLUME_HOME/jobs/exec-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console


3. 入门案例 2.2  实时监控单个追加文件,将内容上传到HDFS中

配置文件名字: exec-flume-hdfs.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1 

#Source
a1.sources.r1.type = exec 
a1.sources.r1.command = tail -f /opt/module/flume-1.9.0/jobs/tail.txt

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

#Bind
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

启动: flume-ng agent -c  $FLUME_HOME/conf  -f  $FLUME_HOME/jobs/exec-flume-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

4. 入门案例 3  实时监控目录下的新文件,将内容上传到HDFS中

配置文件名字: spooling-flume-hdfs.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1 

#Source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/module/flume-1.9.0/jobs/spooling
a1.sources.r1.fileSuffix = .COMPLETED
a1.sources.r1.ignorePattern = .*\.tmp


#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

#Bind
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

启动: flume-ng agent -c  $FLUME_HOME/conf  -f  $FLUME_HOME/jobs/spooling-flume-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

5. 入门案例4   实时监控目录下多个追加文件,将内容上传到HDFS中

配置文件名字: taildir-flume-hdfs.conf

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1 

#Source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume-1.9.0/jobs/taildir/.*\.txt
a1.sources.r1.filegroups.f2 = /opt/module/flume-1.9.0/jobs/taildir/.*\.log
a1.sources.r1.positionFile = /opt/module/flume-1.9.0/jobs/position/position.json

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

#Bind
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

启动: flume-ng agent -c  $FLUME_HOME/conf  -f  $FLUME_HOME/jobs/taildir-flume-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

[{"inode":1317393,"pos":6,"file":"/opt/module/flume-1.9.0/jobs/taildir/file1.txt"},
{"inode":1317394,"pos":6,"file":"/opt/module/flume-1.9.0/jobs/taildir/file2.txt"}]

[{"inode":1317393,"pos":6,"file":"/opt/module/flume-1.9.0/jobs/taildir/file1.txt"},
{"inode":1317394,"pos":6,"file":"/opt/module/flume-1.9.0/jobs/taildir/file2.txt"},

{"inode":1317395,"pos":5,"file":"/opt/module/flume-1.9.0/jobs/taildir/log1.log"},
{"inode":1317396,"pos":5,"file":"/opt/module/flume-1.9.0/jobs/taildir/log2.log"}]

秋栗圆圆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume安装
timicai的博客
11-30 370
flume安装目录一、安装Flume二、安装nc三、安装telnet测试四、案例 安装包及测试文件 提取码: ktc2 一、安装Flume 1.压缩包拉入opt目录中 2.解压flume到opt tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz 3.重命名flume mv apache-flume-1.6.0-cdh5.14.0-bin/ flume 4.切换到flume的conf cd flume/conf 5.拷贝一份flume-env.sh.template，重
flume入门
TKE_Yolanda的博客
03-09 460
目录 一.flume简介及架构 flume简介 日志采集的过程 flume架构 3.1 3.2 基本概念 4.1 channel类型 4.2 source类型 4.3 sink类型 二.flume关键特性 flume支持采集日志文件 flume支持多级级联和多路复制 flume级联消息压缩，加密 flume数据监控 flume传输可靠性 一.flume简介及架构 1.flume简介 Flu...
Flume 入门之架构
weixin_45234249的博客
07-10 271
Flume 的架构 1 Agent
Flume的安装及使用
weixin_44624060的博客
07-11 2266
Flume的安装及使用 文章目录Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用 Flume的安装 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft=‘cd /usr/local/soft/’ 2、
Flume 的安装
qq_43613793的博客
04-24 497
上传并解压安装文件 将apache-flume-1.8.0-bin.tar.gz上传到centos01节点的/opt/softwares目录，并将其解压到/opt/modules/目录下： tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/modules/ 配置环境变量 vim /etc/profile export FLUME_HOME=/opt/modules/apache-flume-1.8.0-bin export PATH=$PATH:$FLUME
flume安装
weixin_38610500的博客
12-27 709
flume安装安装及配置环境变量使用 安装及配置环境变量 1.保证有JAVA_HOME; 2.直接解压即可； 将 apache-flume-1.7.0-bin.tar.gz包放到/opt/soft下,加压到/opt/module下 [atguigu@hadoop1 flume-1.7]$ ls bin CHANGELOG conf DEVNOTES doap_Flume.rdf docs lib LICENSE NOTICE README.md RELEASE-NOTES tools
【Flume一】Flume入门
bit1129的博客
02-14 414
Flume基本架构图：  一个Agent中有Source、Channel和Sink。Sink可以连接HDFS，JMS或者其他的Agent Source   Flume术语解释 FlumeEvent        A Flume event is defined as a unit of data flow having a byte payload and an opti...
Flume入门必看
m0_59737088的博客
07-15 282
Flume 一、概述 本文参考原文链接 1.Flume定义 Flume是Cloudera提供的一个海量日志采集、传输的系统。Flume基于流式架构，灵活简单。 2.Flume优点 ① 可以和任意存储进程集成 ② 输入的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 ③ flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。 ​ Flume使用两个独立的事务分别负责从source到channel，以及从
大数据学习——Flume入门
5akura's Blog
08-06 2286
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
Flume安装详细步骤
11-30
Flume安装的详细步骤哈
Flume入门使用.pdf
07-10
以下是对Flume入门使用的详细说明： 1. **Flume 组件配置**： 在`netcat-logger.conf`配置文件中，我们看到Flume的配置主要由三部分组成：Sources、Sinks 和 Channels。 - **Sources**：在这里是`r1`，类型设置为...
flume入门教程
洛云凡
10-27 605
参考借鉴： 用户文档： http://flume.apache.org/FlumeUserGuide.html 开发文档： http://flume.apache.org/FlumeDeveloperGuide.html Flume原理解析： https://www.cnblogs.com/zhangyinhua/p/7803486.html 参考原文地址：https://blog.csdn.ne...
Flume安装教程
qq_51490070的博客
04-19 1854
文章目录1. 解压安装包到指定位置2.修改名字删除guava-11.0.2.jar 1. 解压安装包到指定位置 tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /op t/module/ 2.修改名字 修改 apache-flume-1.9.0-bin 的名称为 flume mv apache-flume-1.9.0-bin/ flume 删除guava-11.0.2.jar 将 lib 文件夹下的
flume 安装
Desilting's 足迹
04-02 8136
flume安装配置，及简单测试
Flume的安装
做事要趁早的博客
11-27 2330
Flume的安装 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的 Agent 主要有 3 个部分组成，Source、Channel(缓冲区，管道)、Sink 1、将Flume的安装包拷贝到/opt/software目录下 [mnlg@XJ202 ~]$ cd /opt/software/ [mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar
flume的安装
小忐忑的博客
10-07 1210
1.解压缩 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/ 改名 cd /usr/ mv apache-flume-1.9.0-bin/ flume 2.修改配置文件 复制模板 cp flume-env.sh.template flume-env.sh vi flume-env.sh 写入 export JAVA_HOME=/usr/jdk 修改环境变量 vi /etc/profile #flume export FLUME_HOME=/u
flume安装教程
最新发布
Andy86666的博客
11-28 728
（谷歌开发的工具包，但是和其他的组件的版本不统一）进行到flume的安装路径中，需要修改conf中。，并在里面添加JDK的路径。
Flume入门：下载与配置教程
**Flume入门指南** **下载与安装** 首先，Flume是一个用于实时数据管道的开源工具，它主要应用于大数据处理场景中的数据收集、传输和存储。在本示例中，我们看到用户通过命令行下载了Flume NG 1.6.0的CDH 5.16.2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值