flume_1 简介、安装与应用

最新推荐文章于 2025-01-25 10:31:52 发布
最新推荐文章于 2025-01-25 10:31:52 发布
阅读量518 收藏 16
点赞数 12
文章标签： flume 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61809177/article/details/137706105
版权
本文详细介绍了ApacheFlume的架构、工作组件（Source、Sink、Channel）以及如何安装和配置Flume，包括使用netcat监听、Hive日志监控、并将数据上传至HDFS。实例涵盖了单节点配置和多文件监控，展示了Flume在企业级应用中的部署和使用。
摘要由CSDN通过智能技术生成

1.flume是是什么,有什么工作组件,如何进行工作的,画图说明?

flume定义:flume是一个由Cloudera(课捞的爱rua)所提供的一个高可用,高可靠分布式的海量日志采集,聚合和传输系统,特点:灵活简单,流式架构.

工作组件:在一个Agent(爱剪剃)代理JVM进程中,

Sourse :接收数据,处理各种类型,各种格式的数据
Sink : 不断轮询,主动处理Channel里的事件,批量的写入存储HDFS库中,或者发送到第其他Agent处理jVM中
Channel:(读音:前脑)管道,位于sourse读取与sink写入的缓冲区,线程安全,
memory(卖毛瑞) channel 内存缓冲区易丢失数据,file channel:磁盘缓冲区不易丢失数据

画图运行流程

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2,写出安装flume步骤,验证安装成功,截图说明

(1)从官网下载对应的安装包, .gz

下载地址：http://archive.apache.org/dist/flume/

(2)上传并解压安装包到自己的安装文件目录下

切换到兄弟目录

例如同一个父目录/opt下
cd /opt/software/
cd ../module/

1,直接通过下载的,gz的安装包上传到/opt/software目录下

2,解压文件夹 到 /opt/module目录下
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

3,在安装目录module下 将文件改名
mv apache-flume-1.9.0-bin/ flume-1.9.0

4,到lib目录下删除与hadoop 3.1.3兼容的的guava-11.0.2,jar
cd /opt/module/flume/lib
rm -rf guava-11.0.2.jar

5,根目录下配置fulme环境变量
vim /etc/profile.d/my_env.sh
配置以下内容
#flume
export FLUME_HOME=/opt/module/flume-1.9.0
export PATH=$PATH:$FLUME_HOME/bin

6,重启服务
source /etc/profile

7,验证配置成功 进入目录
cd $FLUME_HOME

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3,编写一个成功案例代码,并分析意义,截图说明

使用nc在node2监听一个端口

不知道如何使用nc 可以提使用以下两个代码查询
nc -help
man nc
监听:
nc -l localhost 44444

在 flume 目录下创建 job 文件夹并进入 job 文件夹。

[itwise@node2 flume]$ mkdir job
[itwise@node2 flume]$ cd job/

在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

[itwise@node2 job]$ vim flume-netcat-logger.conf

在 flume-netcat-logger.conf 文件中添加配置:

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat     -- 类型
a1.sources.r1.bind = localhost  -- ip
a1.sources.r1.port = 4444      -- 端口号

# Describe the sink
a1.sinks.k1.type = logger       -- 类型

# Use a channel which buffers events in memory
a1.channels.c1.type = memory    -- 类型
a1.channels.c1.capacity = 1000  -- 容量:放入事件的数量
a1.channels.c1.transactionCapacity = 100  -- course存入/sink写入事务的大小

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

进行测试

1,第一步,node启动flume,默认端口监听输出位log4j日志文件,需要将后面的改为,console
   bin/flume-ng agent --conf conf --conf-file jobs/flume-netcat-logger.conf --name a1
2,重新开启一个node2窗口保存到第一种方式的保存到log/log4j中的
  本地开启监听,这个窗口输出内容
nc localhost 44444 
3,再开一个窗口,查看监测日志.  注意:上一个窗口重新输入内容,查看日志需要重新打开
   cd /opt/module/flume-1.9.0/
   vim flume.log 

#方法一:
bin/flume-ng agent --conf conf --conf-file jobs/flume-netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

#方法二
[itwise@node2 flume]$ bin/flume-ng agent -c conf -f jobs/flume netcat-logger.conf -n al Dflume.root.logger=INFO,console


#常用写法,将地址写错成环境变量的方式
[itwise@node2 flume]$ bin/flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume netcat-logger.conf -n al Dflume.root.logger=INFO,console

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

案列二:监听Hive日志,并上传到hdfs中

分解:监听一个文件,如果文件发生变化追加文件，将内容打印到控制台

补充：linux命令 监控文本输入 写入会覆盖( > ) 追加(>>)

tail -f $FLUME_HOME/jobs/workdir/file1.txt

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1,创建文件:
[itwise@node2 jobs]$ pwd
/opt/module/flume-1.9.0/jobs
[itwise@node2 jobs]$ mkdir workdir
[itwise@node2 jobs]$ cd workdir/
[itwise@node2 jobs]$ touch file1.txt

#打开一个窗口node2监听
[itwise@node2 home]$ tail -f $FLUME_HOME/jobs/workdir/file1.txt 
#在窗口写入数据
[itwise@node2 workdir]$ echo 222 >> file1.txt 
[itwise@node2 workdir]$ echo 333 >> file1.txt
# 原数据发生数据变化:
使用flume进行文本写入的监听

注意在配置文件中,路径要是绝对路径

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /opt/module/flume-1.9.0/jobs/workdir/file1.txt
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
创建脚本文件
[itwise@node2 jobs]$ vim flume-exec-logger.conf
上面的文件添加到文本当中
执行命令行
#常用写法,将地址写错成环境变量的方式
[itwise@node2 flume-1.9.0]$ 
flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume-exec-logger.conf -n a1 -Dflume.root.logger=INFO,console

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume-exec-logger.conf -n al -Dflume.root.logger=INFO,console

echo 4444 >> $FLUME_HOME/jobs/workdir/file1.txt

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3,将文件追加爱文件上传到hdfs中

写入目标位置,修改Sink的配置,其余的预上面保持一致

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /opt/module/flume-1.9.0/jobs/workdir/file1.txt
# Describe the sink
#Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://node2:9820/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
开始执行,保证hadoop集群的启动
flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume-exec-hdfs.conf -n a1 -Dflume.root.logger=INFO,console
打开node2:9820， 去看看，有没有创建/flume, 看看它里面的东西：通过前面的测试，原有数据的。

读数据写保存。看到

效果图

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

[itwise@node2 jobs]$ echo '我爱大数据' >> $FLUME_HOME/jobs/workdir/file1.txt

#代码跑的效果代码
2024-03-08 20:45:55,415 (hdfs-k1-call-runner-4) [INFO - org.apache.flume.sink.hdfs.BucketWriter$7.call(BucketWriter.java:681)] Renaming hdfs://node2:9820/flume/20240308/20/logs-.1709901895357.tmp to hdfs://node2:9820/flume/20240308/20/logs-.1709901895357

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

案例 3 实时监控目录下的新文件,将内容上传到HDFS中*

编写代码：

有一个意识： 现在需要source， 后面不动

创建一个要被监控的目录

 mkdir spooling
[itwise@node2 jobs]$ vim flume-spooling-hdfs.conf
vim flume-spooling-hdfs.conf内容:
# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/module/flume-1.9.0/jobs/spooling
a1.sources.r1.fileSuffix = .COMPLETED
a1.sources.r1.ignorePattern = .*\.tmp
# Describe the sink
#Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://node2:9820/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令:

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume-spooling -hdfs.conf -n a1 -Dflume.root.logger=INFO,console

测试启动命令是否正常启动

 cp $FLUME_HOME/jobs/workdir/file1.txt $FLUME_HOME/jobs/spooling/

运行率结果截图

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

结论： 只要是新文件都会被监听上传到hdfs中，但是如果新文件的名字是带.COMPLETED扩展名，

flume不去处理。因为这个扩展名是我们用来告诉flume区分是否被上传的文件的。

4,实时监控目录下多个追加文件,将内容上传到HDFS中

# example.conf: A single-node Flume configuration
# Name the components on this agent

a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
# 更改type类型 创建f1 f2组
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume-1.9.0/jobs/taildir/.*\.txt
a1.sources.r1.filegroups.f2 = /opt/module/flume-1.9.0/jobs/taildir/.*\.log
# 创建position文件夹来存放服务
a1.sources.r1.positionFile = /opt/module/flume-1.9.0/jobs/position/position.json

# Describe the sink
#Sink
# 存放path地址,并且按照自己指定的时间类型
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://node2:9820/flume/%Y%m%d/%H
#上传文件的前缀区分文件
a1.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位以小时为创建hdfs目录
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳为前缀+文件名
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

执行命令

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/flume-taildir-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

5,Flume企业开发的案例讲解：

执行力

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/group1/flume3.conf -n a3 -Dflume.root.logger=INFO,console

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/group1/flume2.conf -n a3 -Dflume.root.logger=INFO,console

flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/jobs/group1/flume.conf -n a3 -Dflume.root.logger=INFO,console

#Flume1.conf
#Named
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2
#Source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/flume-1.9.0/jobs/group1/taildir-flume1/.*\.txt
a1.sources.r1.positionFile = /opt/module/flume-1.9.0/jobs/group1/position-flume1/position.json
#channel selector
a1.sources.r1.selector.type = replicating
#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 10000
a1.channels.c2.transactionCapacity = 100
#Sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = localhost
a1.sinks.k1.port = 7777
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = localhost
a1.sinks.k2.port = 8888
#Bind
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

#Flume2.conf
# example.conf: A single-node Flume configuration
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = localhost
a2.sources.r1.port = 7777
# Describe the sink
#Sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://node2:9820/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k1.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

#Flume3.conf
#Named
a3.sources = r1
a3.channels = c1
a3.sinks = k1
#Source
a3.sources.r1.type = avro
a3.sources.r1.bind = localhost
a3.sources.r1.port = 8888
#Channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 10000
a3.channels.c1.transactionCapacity = 100
#Sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/flume-1.9.0/jobs/group1/flume3
#Bind
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

配置备注:

position-flume1 是 处理文本存储位置

taildir-flume1 是监控的文件夹

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

a3.sources.r1.port = 8888
#Channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 10000
a3.channels.c1.transactionCapacity = 100
#Sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/flume-1.9.0/jobs/group1/flume3
#Bind
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1


### 配置备注:

### position-flume1 是 处理文本存储位置

### taildir-flume1 是监控的文件夹

[外链图片转存中...(img-GwsmpCHu-1712971301051)]

[外链图片转存中...(img-VtYpmJhH-1712971301051)]

[外链图片转存中...(img-HD1VAhSb-1712971301052)]

[外链图片转存中...(img-yccxDNx5-1712971301052)]
怯生QAQ
关注
flume---安装与配置
飞机的博客
03-10 1146
​ Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Flume简介与安装
ydchesterxu的博客
05-05 344
本文选自公众号：superdiao的果壳 今天给大家介绍一个大数据工具：Flume，以及它的安装方式。 1. 定义 用术语来说，Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它使用简单的可扩展数据模型，允许在线分析应用程序。 通俗来说，就是一个数据管道，将数据从一端运输到另一端。当然中间可以对数据进行一定程度的处理。 2. 架构 Flume的核心是A...
flume安装配置与应用
Above the cloud
12-06 1573
有关flume大数据工具的配置，以及日志采集的案例
【Flume-01】安装部署
山西没老板
09-16 208
数据采集——Flume
[Flume]安装，部署与应用案例
SmartSi
09-19 3276
1. 官网　 http://flume.apache.org/ 2. 下载 http://flume.apache.org/download.html 3. 安装 3.1 将下载的flume包，解压到/opt目录中 3.2 创建flume-env.sh 配置文件 xiaosi@Qunar:/opt/apache-flume-1.6.0-bin/c
Flume安装与使用
weixin_72036027的博客
03-10 831
flume概念和使用
Flume安装部署及使用
xtsheng123456的博客
10-27 670
Aapche Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件，网址： http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。
【数仓】flume软件安装及配置
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
03-06 1645
Apache Flume是一个分布式、可靠且可用的大数据日志采集、聚合和传输系统。它主要用于将大量的日志数据从不同的数据源收集起来，然后通过通道（Channel）进行传输，最终将数据传输到指定的目的地，如HDFS、HBase等。Flume具有高度可扩展性、容错性和灵活性，可以适应各种复杂的数据采集场景
Flume安装与应用,日志收集保存
余音丶未散的博客
03-31 1096
flume解压缩  tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/modules/ tar -zxvf apache-flume-1.6.0-src.tar.gz -C /opt/modules/ src里面文件内容，覆盖解压后bin文件里面的内容 cp -ri apache-flume-1.6.0-src/* apache-flume-1
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
1. **Flume 基础知识** - Flume 是 Apache Hadoop 生态系统的一部分，设计用于高效、可靠地收集和传输日志数据到集中存储系统，如 HDFS 或 Kafka。 - 它基于流处理的概念，由 Agent 构成，每个 Agent 包含 Source...
Flume_离线处理_日志收集1
08-03
标题中的“Flume_离线处理_日志收集1”涉及到的是使用Apache Flume进行日志收集的一个场景，这是大数据领域常见的数据摄入工具，尤其适用于实时或近实时的数据流处理。Flume以其高可用性、可扩展性和容错性而闻名，...
Flume_实时分析_日志收集1
08-03
1. **配置 Flume 中心服务器**： - 配置文件中，`sources`、`sinks` 和 `channels` 是 Flume 配置的基本元素。 - 在这个例子中，我们有一个名为 `r1` 的源（Source），它使用 Avro 类型，这意味着它监听来自 Avro ...
flume_jars.zip
03-18
在这个“flume_jars.zip”压缩包中，包含了98个与Flume相关的JAR文件，这些文件是开发和运行Flume应用所必需的依赖库。使用IDE如IntelliJ IDEA或Eclipse进行Flume项目开发时，必须正确导入这些JAR包，以确保代码能够...
apache_flume_tutorial
01-06
Flume作为Hadoop生态系统的一部分，其安装与Hadoop的安装环境息息相关。配置Flume需要设置代理的各种组件，包括源、渠道和接收器，以及它们之间的绑定关系。 Flume配置细节 Flume的配置涉及命名各个组件，描述源、...
半小时速通flume-flume正文学习
最新发布
m0_52474839的博客
01-25 986
需求分析：​自定义拦截器的选择器类型不能使用传统的replicating而是multipllexing上述头信息配置state，若头信息匹配到CZ则使用c1，若头信息使用US则使用c2，c3，没有头信息，那么配置c4即可具体来说就是在拦截器类内部构造一个静态类实现Builer接口，重写build方法，构造类即可。import org/**// 声明一个集合收集拦截器处理后的event private List < Event > addHeaderEvents;
半小时速通flume-flume概述
m0_52474839的博客
01-25 483
Flume是Cloudera提供的一个高可用，高可靠的，分布式海量数据日志采集，聚合，传输系统。基于流式架构，动态实现，上传一条采集一条。企业开发，flume–>kafka集群–>hdfsflume动态采集—实时；若做离线业务，完全可以使用put命令。
flume和kafka整合 flume和kafka为什么一起用？
Shinobi_Jack的博客
01-23 931
‌‌‌
【MQ】探索 Kafka
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
【Prometheus】RabbitMQ安装部署，如何通过prometheus监控RabbitMQ
景天科技苑
01-24 5156
RabbitMQ是一个开源的消息代理和队列服务器，它使用Erlang语言编写并运行在多种操作系统上，如Linux、Windows等。RabbitMQ可以接收、存储和转发消息（也称为“事件”）到连接的客户端。它适用于多种场景，包括异步通信、流量削峰、应用解耦等。本文详述RabbitMQ的安装部署和通过prometheus监控RabbitMQ的方法
Flume入门：安装与应用实战指南
"这篇文档是关于Hadoop入门进阶课程中的第12周内容，主要讲解Flume的介绍、安装及应用案例。作者是石山园，内容来源于其个人博客和实验楼的课程。课程鼓励边学习边实践，提供相关的安装包、测试数据和代码下载。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值