flume基本操作——source、sink

已于 2023-06-15 17:55:02 修改
阅读量590 收藏 1
点赞数
文章标签： flume 大数据
于 2023-06-14 20:51:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51447891/article/details/131195446
版权

1、准备工作

1、安装flume

2、在flume目录下创建data目录进入 /opt/apps/flume

mkdir data

3、安装netcat（安装过可不执行）

yum install -y nc

2、source

1.basic.conf配置

在data目录下创建basic.conf

#给Agent起个名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
# 着重      端口号与nectcat发送端口一致（可更改）        #######################
a1.sources.r1.port=12345
 

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=logger


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动命令，进入到data目录下执行

flume-ng agent \
--conf conf \
--conf-file ./basic.conf \
--name a1 \
-Dflume.root.logger==INFO,console

另起一个node01使用nc命令窗口向12345端口发送hello

nc node02 12345

或者
nc -l 12345

发送

flume采集到hello 

 

2、spoolSource 配置：监测的文件夹

使用flume spool的source，当被监控的目录下有文件更新，就会将文件数据发给chanel。

在data目录下创建spoolsource.conf

#给Agent起个名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources，监测的文件夹
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/opt/flumedata
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=logger


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

在/opt/下创建flumedata文件夹

mkdir flumedata

 在/opt/apps/flume/data目录下启动spoolsource

 ../bin/flume-ng agent -n a1 -c ../conf/ -f spoolsource.conf -Dflume.root.logger=INFO,console

向flumedata文件夹中写入数据

vim test.txt

输入hello flume \ hello spark

 flume采集到数据

 原来文件后缀改变

3、httpsource配置：监测http请求

Http Source可以通过Http Post接收事件。

 在data目录下创建httpsource.conf

#给Agent起个名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources http请求
a1.sources.r1.type=http
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=logger


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动采集器

 ../bin/flume-ng agent -n a1 -c ../conf/ -f httpsource.conf -Dflume.root.logger=INFO,console

 发送http请求

curl -X POST -d '[{"header":{},"body":"hello flume"}]' http://node01:12345

采集到数据

 4、配置execsource.conf

在data目录下创建execsource.conf

Exec Source在启动时运行给定的linux命令，并期望进程在标准输出上产生连续的数据（除非属性logStdErr设置为true，否则stderr将被丢弃）。 如果进程由于任何原因退出，source也会退出，并且不会生成更多数据。

#给Agent起个名称
#
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources
a1.sources.r1.type=exec
a1.sources.r1.command=ping www.baidu.com
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=logger


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动采集 

../bin/flume-ng agent -n a1 -c ../conf/ -f execsource.conf -Dflume.root.logger=INFO,console

执行结果已经采集到数据包 

 5、avrosource.conf配置

监听Avro端口来接受外部avro客户端的事件流，和netcat不同的是，avro-source接收到的是
经过avro序列化之后的数据，然后反序列化数据继续传输，所以，如果avro-source的话，源
数据必须是经过avro序列化之后的数据。而netcat接收的是字符串格式的数据。

在node01上配置

#给Agent起个名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=logger


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动采集器

../bin/flume-ng agent -n a1 -c ../conf/ -f avrosource.conf -Dflume.root.logger=INFO,console

 无测试

3、sink

1、filesink

#给Agent起个名称
a1.sources=r1
a1.channels=c1

a1.sinks=s1

#配置sources
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=file_roll
a1.sinks.s1.sink.directory=/opt/flumelog

#每隔一个小时会产生一个新的日志文件
#把日志落在了本地文件
a1.sinks.s1.sink.rollInterval=3600


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

2、hdfssink

#给Agent起个名称
#
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#配置sources
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=12345

#配置channel
a1.channels.c1.type=memory
#通道中允许1000各事件
a1.channels.c1.capacity=1000
#每次给sink发送100各事件
a1.channels.c1.transactionCapacity=100

#配置sink
#将日志打印在控制台上
a1.sinks.s1.type=hdfs
a1.sinks.s1.hdfs.path=hdfs://node01:9000/flume
#利用流的形式将数据写到Hdfs
a1.sinks.s1.hdfs.fileType=DataStream


a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

 

Flume的核心概念包括：

1. Agent（代理）：Flume中的基本工作单元，负责数据的收集、传输和存储。

2. Source（数据源）：负责从数据源收集数据，并将其传输给Channel。

3. Channel（通道）：用于在Source和Sink之间缓冲和存储事件数据，确保可靠传输和可扩展性。

4. Sink（数据汇）：将数据从Channel中取出，并将其传输到目标存储系统，如HDFS、HBase、Kafka等。

Flume还提供了多种Source和Sink的类型，以适应不同的数据源和目标系统。此外，Flume还支持事件拦截器（interceptor）用于数据转换和处理，以及拓扑（Topology）的定义和配置，用于指定Agent之间的数据流动关系。

qq_51447891
关注
Flume笔记二之source,channel,sink
ty4315的专栏
11-20 4127
flume中source,channel,sink基本介绍
Flume监控软件——Ganglia安装与部署
wainageren的博客
03-19 3484
一、Ganglia安装 1.1 三台机器安装epel源 [usr@node01 flume]$ sudo yum install -y epel-release [usr@node02 flume]$ sudo yum install -y epel-release [usr@node03 flume]$ sudo yum install -y epel-release 1.2 在node01安装web,meta和monitor [usr@node01 flume]$ sudo
Flume：source和sink
weixin_30730053的博客
08-13 195
Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念  什么叫flume？ 　　分布式，可靠的大量日志收集、聚合和移动工具。  events 　　事件，是一行数据的字节数据，是flume发送文件的基本单位。  flume配置文件 　　重命名flume-env.sh.template为flume-env.sh，并添加[e...
Flume_Sink
Regan_Hoo的博客
12-06 1965
概述从Flume Agent移除数据并写入到另一个Agent或数据存储或一些其他存储系统的组件被称为sink。Sink不断的轮询channel中的事件且批量的移除它们。这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。Sink是完全事务性的。在从channel批量移除数据之前，每个sink用channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Age
Flume常用source、channel、sink
l_zerol的博客
11-17 954
flume source、channel、sink
Flume的source和sink
qq_42533287的博客
02-04 234
Source Taildir Source：支持断点续传、多目录文件监控 Avro Source：Avro端口监听并接收来自外部的Avro客户流的事件 Exec Source：Exec Source的配置就是设定一个Unix(linux)命令，然后通过这个命令不断输出数据 Spooling Directory Source：监测配置的目录下新增的文件，并将文件中的数据读取出来 Sink HDFS Sink：当需要将事件消息写入到Hadoop分布式文件系统（HDFS）时，可以使用HDFS Sink Avro
Flume配置（NetCatSource，ExecSource，SqoolingDirectory，MemoryChannel， FileChannel，LoggerSink，HDFS Sink ）
May_J_Oldhu的博客
11-30 438
Flume组件的配置示例一.Flume组件的配置示例1.NetCat TCP Source，Memory Channel,Logger Sink1）NetCat TCP Source2）Memory Channel3）Logger Link2.Exec Source，Memory Channel,Logger Sink1）Exec Source2）Memory Channel3.Spooling Directory Source,File Channel,Logger Link1）Spooling Dire
flume ng进击之路 （二）—— kafka sink使用
星辰大海，脚踏实地
08-22 823
概述随着kafka的越来越流行，把kafka作为消息（特别是日志）的传输消息队列的越来越多，同时其他各种开源工具都开始跟kafka对接。 flume是常用语日志采集的工具，而kafka又常用于日志传输，因此对flume支持kafka的需求也很多
Flume基础篇——环境搭建
技术点滴
03-26 340
Flume基础篇——环境搭建 环境需求 flume已经发布1.9了，本文主要是基于1.8.0，可以通过官网直接下载，flume是使用java开发，因此需要安装java环境，flume-1.8 要求java1.8以上。安装包：apache-flume-1.8.0-bin，源码包：apache-flume-1.8.0-src window安装步骤 下载apache-flume-1.8.0-bi...
大数据课程E3——Flume的Sink
最新发布
u013955758的专栏
07-29 920
2. 同HDFS Sink类似，File Roll Sink在往磁盘上写的时候，也有一个滚动的间隔时间，同样是30s，因此在磁盘上同样会形成大量的小文件。3. 在往HDFS上写数据的时候，数据的存储文件会定时的滚动，如果不指定，那么每隔30s会滚动一次，生成一个文件，那么此时会生成大量的小文件。2. 在往HDFS上写的时候，支持三种文件类型：文本类型，序列类型以及压缩类型。2. 在打印的时候，为了防止过多的数据将屏幕占满，所以要求body部分的数据不能超过16个字节，超过的部分不打印。
Source(拉电流) Sink（灌电流）意思的歪记方法
xunzhurou的博客
11-17 5357
关于Source(拉电流) Sink（灌电流）我看了很多遍了，但是始终记不住，今天又看了一遍，忽然发现了个有趣的地方。(拉电流) 的英文是Source，（灌电流）的英文单词是Sink，让我想起来老子说的少则得，多则惑，也就是说Source这个字母比Sink长，Source是个富足的家伙，而Sink是个穷鬼，所以Source是输出（能开粥棚，电影里的国军经常说，看在当过的份上拉兄弟一把），Sink是输入（去富人家里要饭）。 详细的可以参考这位博主的： ...
Flume sink
mthinking
04-23 308
1.hdfs a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 8888 a1.sinks.k1.type = hdfs a1....
Flume Sink
小白的博客
11-30 2122
一、Logger Sink 记录指定级别的日志，通常用于调试。 二、File Roll Sink 在本地文件系统中存储事件，每隔指定时长生成文件保存这段时间内收集到的日志信息。 配置Agent 三、HDFS Sink 此Sink将事件写入到Hadoop分布式文件系统HDFS中。 它支持创建文本文件和序列化文件，对这两种格式都支持压缩。 这些文件可以分卷，按照指定的时间或数据量或事件的数量为基...
（2）source和sink详解
热门推荐
qq_18522601的博客
07-19 3万+
前面第一小节也提到了，Structured Streaming会增量的从source中读取数据，映射成一张表，对该表进行增量的查询分析，然后组合中间状态，再把结果输出到结果表，然后刷到外部存储系统sink。 本小节主要是详细讲解source 和sink。 1. source 目前支持的内置source有： 1） File Source 从给定的目录读取数据，目前支持的格式有text...
Source(拉电流) Sink（灌电流）详解
xiebingsuccess的博客
06-15 2万+
显然它的测试电路应该如图18-2-4(b)所示，输入端所加的逻辑电平是保证输出端能够获得低电平，只不过灌电流是通过接向电源的一只电位器而获得的，调节的电位器可改变灌电流的大小，输出低电平的电压值也将随之变化。（芯片的拉、灌电流参数值越大，意味着该芯片可以接更多的负载，因为，例如灌电流是负载给的，负载越多，被灌入的电流越大）灌入电流是被动的,从输出端流入的叫灌入电流。拉电流是数字电路输出高电平给负载提供的输出电流，灌电流时输出低电平是外部给数字电路的输入电流，它们实际就是输入、输出电流能力。
flume笔记（三）之Source、sink小知识
weixin_44604159的博客
05-11 445
Exec Spooldir Taildir 的区别： Exec source ：适用于监控一个实时追加的文件，但不能保证数据不丢失； Spooldir Source ：能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；（适用于测试） 不要在监控目录中创建并持续修改文件 上传完成的文件会以.COMPLETED 结尾 被监控文件夹每 500 毫秒扫描一次文件变动 Taildir Source： 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。（适用于开发） .
Flume自定义Source、Sink和Interceptor(简单功能实现)
qingcongke的博客
09-07 3551
Event Source 1CustomSourcejava 2Flume 编写配置文件 3打jar包运行 Sink 1CustomSinkjava 2custom_sinkconf 3打jar包运行 Interceptor 1CustomInterceptorjava 2custom_interceptorconf 3打jar包运行 1.Event event是flume传输的最小对象，从so
三十九、Flume自定义Source、Sink
象在舞的技术专栏
01-18 2298
上篇文章咱们基于Flume举了几个例子，包括它的扇入扇出等等。这篇文章我们主要来看一下怎样通过自定义Source和Sink来实现Flume的数据采集。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~
Flume的Source、Sink总结，及常用使用场景
昕友软件博客
11-22 425
数据源Source RPC异构流数据交换 Avro Source Thrift Source 文件或目录变化监听 Exec Source Spooling Directory Source Taildir Source MQ或队列订阅数据持续监听 JMS Source SSL and JMS Source Kafka Source Netw...
Flume通道与接收器详解：Memory Channel、File Channel、HDFS Sink等
本文重点讨论了Flume中的两个关键组件——Channel和Sink，以及相关的配置和使用场景。" Flume的Channel是事件(Event)的存储区域，它在Source与Sink之间起到缓冲作用。Channel可以是内存型、文件型或数据库型，每种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值