Flume知识点

已于 2022-07-18 23:40:54 修改
阅读量663 收藏 1
点赞数
分类专栏： 大数据 文章标签： flume bash 大数据
于 2022-07-18 09:42:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49113403/article/details/125831351
版权

为什么选用Flume

flume最主要的作用就是，实时读取服务器本地磁盘数据，将数据写入到HDFS。（最主流）

Flume架构

在这里插入图片描述

案例1

在flume下建立一个文件（文件命名一般都是source-flume-sink，见名见意）
在这里插入图片描述

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000  //1000代表的是1000个事件
a1.channels.c1.transactionCapacity = 100 //一次最多传100个时间，这条要比上面的少

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

要注意这里：
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
这两行代表的这种意思
在这里插入图片描述
一个source能够发给多个channel，但是一个channel只能发给一个sink
在这里插入图片描述

shell启动命令

//官网给的启动，提示
$ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template -Dflume.root.logger=INFO,console

//我的启动

 bin/flume-ng agent -n a1 -c conf/ -f job/net-flume-logger.co  -Dflume.root.logger=INFO,console

–conf/-c：表示配置文件存储在 conf/目录
–name/-n：表示给 agent 起名为 a1
–conf-file/-f：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf
文件。
-Dflume.root.logger=INFO,console ：-D 表示 flume 运行时动态修改 flume.root.logger
参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、
error。

在这里插入图片描述
启动成功

使用 netcat 工具向本机的 44444 端口发送内容
在这里插入图片描述
在 Flume 监听页面观察接收数据情况

在这里插入图片描述

案例二（实时监控单个追加文件）

案例需求：实时监控 Hive 日志，并上传到 HDFS 中
实时读取本地文件到HDFS

基本步骤

在这里插入图片描述

实施步骤

在flume下的job目录下创建一个文件

vim flume-file-hdfs.conf

需要注意的是：

要想读取Linux中文件，就得Linux命令的规则执行命令。
由于Hive的日志是在Linux系统中，所以读取文件的类型选择为exec（也就是executor 执行者 的意思）。
表示执行Linux命令来读取文件

配置信息如下

查看flume链接
选择用户指南
在这里插入图片描述
因为我们要上传文件到HDFS中，也就是sink端为HDFS，我们可以搜hdfs sink 查看需要什么配置参数
在这里插入图片描述

# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
# 执行文件的类型，exec执行Linux命令，查看文件
a2.sources.r2.type = exec
# 文件的执行命令（这里hive.log如果没有特别配置默认在 /tmp/root/hive.log）
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log  
a2.sources.r2.shell = /bin/bash -c

# Describe the sink
a2.sinks.k2.type = hdfs
# 这里创建目录（不是文件）
a2.sinks.k2.hdfs.path = hdfs://hadoop102:9000/flume/%Y%m%d/%H

#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳，这里一定要true，因为上面我们用到了时间
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 30
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

在这里插入图片描述

开始测试

启动flume任务
在这里插入图片描述
启动hive，在hive里面操作，查看hdfs
文件没有刷新前后缀是tmp，只要达到你设定的条件就会变成文件，例如30s,128M,等等
在这里插入图片描述

在这里插入图片描述

实时监控目录下多个新文件

使用 Flume 监听整个目录的文件，并上传至 HDFS，了解断点续传

需求分析

在这里插入图片描述

实现步骤

  1. 创建文件夹
[root@hadoop01 apache-flume-1.9.0-bin]# mkdir upload
  1. 在job目录下创建文件flume-dir-hdfs.conf
    内容如下（配置文件）
a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp 结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = 
hdfs://hadoop102:9000/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

在这里插入图片描述

  1. 运行文件
[root@hadoop01 apache-flume-1.9.0-bin]# bin/flume-ng agent -n a3 -c conf -f job/flume-dir-hdfs.conf
  1. 向 upload 文件夹中添加文件

在这里插入图片描述

在这里插入图片描述
上传成功后会出现以
.COMPLETED结尾的文件夹，说明flume已经将此文件上传了，以后不再监控。
所以，
不要在监控的目录中创建和修改文件。
监控的文件会500毫秒扫描一次。

实时监控目录下的多个追加文件

案例需求

使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS
在这里插入图片描述

实现步骤

  1. 配置参数
    这里我是打印到控制台上，去hdfs也是同上面一样
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /export/servers/apache-flume-1.9.0-bin/testData/.*.txt
a1.sources.r1.positionFile = /export/servers/apache-flume-1.9.0-bin/position/position.json

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在这里插入图片描述
2. 启动监管命令

[root@hadoop01 apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f ./job/flume-taildir-hdfs.conf -Dflume.root.logger=INFO,console
  1. 向文件夹中追加内容
    在这里插入图片描述

Taildir Source 维护了一个 json 格式的 position File，其会定期的往 position File
中更新每个文件读取到的最新的位置，因此能够实现断点续传。Position File 的格式如下：
{“inode”:2496272,“pos”:12,“file”:“/opt/module/flume/files/file1.txt”}
{“inode”:2496275,“pos”:12,“file”:“/opt/module/flume/files/file2.txt”}

flume事务

在这里插入图片描述

Flume Agent内部原理

在这里插入图片描述
1）ChannelSelector
ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，
分别是 Replicating（复制）和 Multiplexing（多路复用）。
ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相
应的原则，将不同的 Event 发往不同的 Channel。
2）SinkProcessor
SinkProcessor 共 有 三 种 类 型 ， 分 别 是 DefaultSinkProcessor 、
LoadBalancingSinkProcessor 和 FailoverSinkProcessor
DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， LoadBalancingSinkProcessor 和
FailoverSinkProcessor 对应的是 Sink Group，LoadBalancingSinkProcessor 可以实现负
载均衡的功能，FailoverSinkProcessor 可以实现故障转移的功能。

复用和多路复用

在这里插入图片描述

步骤

  1. 在flume/job/下创建文件夹group1
    在flume/testData下创建文件夹flume3和hive.log
    在flume/position下创建文件position2.json

  2. 创建flume-1，在flume/job/group1下创建文件flume-file-flume.conf，配置如下：

#name
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

#source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /export/servers/apache-flume-1.9.0-bin/testData/hive.log
a1.sources.r1.positionFile = /export/servers/apache-flume-1.9.0-bin/position/position1.json

#sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop01
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop01
a1.sinks.k2.port = 4142

#channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

#bind
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2
  1. 创建flume-2，在flume/job/group1下创建文件flume-flume-hdfs.conf，配置如下：
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

#source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop01
a2.sources.r1.port = 4141

#sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop01:9000/flume2/%Y%m%d/%H

#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 30
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k1.hdfs.rollCount = 0
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 100
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
  1. 创建flume-2，在flume/job/group1下创建文件flume-flume-file.conf，配置如下：
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop01
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /export/servers/apache-flume-1.9.0-bin/testData/flume3/

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

提示：输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。
5. 执行文件

bin/flume-ng agent -n a1 -c conf/ -f job/group1/flume-file-flume.conf

bin/flume-ng agent -n a2 -c conf/ -f job/group1/flume-flume-hdfs.conf

bin/flume-ng agent -n a3 -c conf/ -f job/group1/flume-flume-file.conf
  1. 测试
    在这里插入图片描述
    hdfs创建文件了
    在这里插入图片描述
    里面内容为
    在这里插入图片描述
    在磁盘中，文件生成
    在这里插入图片描述

故障转移

在这里插入图片描述

配置文件

  1. 在Linux中创建好文件
    在这里插入图片描述
  2. flume1.conf的配置如下
# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop01
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop01
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1
  1. flume2.conf的配置如下
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop01
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = logger

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
  1. flume3.conf的配置如下
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop01
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2
  1. 分别运行
bin/flume-ng agent -n a1 -c conf/ -f job/group2/flume1.conf

bin/flume-ng agent -n a2 -c conf/ -f job/group2/flume2.conf -Dflume.root.loogger=INFO,console

bin/flume-ng agent -n a3 -c conf/ -f job/group2/flume3.conf -Dflume.root.loogger=INFO,console
  1. 在netcat中发送消息，flume3先收到，无论我怎么发都是flume3收到

在这里插入图片描述
7. 把flume3停掉（模拟挂掉的场景）
使用netcat发送消息，可以看到在flume2出现
在这里插入图片描述

负载均衡

  1. 这里与上面操作其实，类似，我们只需要更改一下flume1文件就ok
  2. 配置文件如下
# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = random

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop01
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop01
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

运行，随机在flume2和flume3中传输数据
在这里插入图片描述

聚合

看尚硅谷文档，配置思想一样的

森林里的北极猿
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume基础笔记知识点
07-19
flume基础笔记知识点
flume学习02---日志记录调试
chbxw
03-18 2912
一、记录原始信息 在许多生产环境中，记录流过摄取流水线的原始数据流是不期望的行为，因为这可能导致泄露敏感数据或安全相关配置，例如到Flume日志文件的密钥。 默认情况下，Flume不会记录这样的信息。 另一方面，如果数据流水线断开，Flume将尝试提供调试问题的线索。 调试事件管道问题方法 方法：设置一个额外的Memory Channel连接到Logger Sink，它将所有事件数据输出到Flu
flume日志级别
临在的博客
07-07 108
运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG
指定Flume日志分类级别
George's dev dream port
07-16 756
用UDP或TCP接受syslog格式日志的时候，比如： flume dump 'syslogUdp(5140)'  这个命令使用UDP在5140端口接收日志。这时候假如你希望从命令行测试能否成功接收： echo '<37>Hello from cmd.' |nc -u localhost 5140  一定要在测试文本头加上<37>用来对日志进行分类，否则flum...
大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本
Redamancy06的博客
11-23 1826
按照规划，该Flume需将Kafka中topic_log的数据发往HDFS。并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。此处选择KafkaSource、FileChannel、HDFSSink。
日志消费工具之Flume实操-下
xiaoleilei666的博客
07-11 356
主要讲述使用flume工具来消费日志；
Flume面试知识点总结
03-24
flume面试题.
HDFS知识点总结
02-24
学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。HDFS是什么：HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是...
kafka知识点
01-07
1.什么是kafka？ 开放性问题 Kafka是一个分布式的流处理平台，一般...点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被
从Flume到Kafka的日志流配置
qq_41035346的博客
06-19 210
上次我们把环境安装完了，这次我们就来搞定配置。 类似于武林的打通任督二脉，这次我们来打通从Nginx日志到Flume日志采集再到Kafka消费日志消息 参考： https://www.jianshu.com/p/8d34a9a5fc01 https://cloud.tencent.com/developer/article/1147852 https://blog.csdn.net/liuwei0376/article/details/60877878 https://blog.csdn.net/qq80
【学习笔记】大数据技术之Flume
prague6695的博客
03-30 1689
这里写目录标题思考？1. 在实时监控目录下的多个追加文件中，更名文件怎样解决？2. 三个source有哪些？3. 自定义source时，会出现相同i的情况，为什么？4. put的dorollback中，为什么TaildirSource不会丢数据而netcat会丢数据？第 1 章 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event第 2 章 Flume 入门2.1 Flume 安
flume的安装配置
v15220的博客
05-19 628
4.使用flume-ng version 可查到相关版本信息即安装成功。分发到其他节点并source /etc/profile。# console表示同时将日志输出到控制台。--conf：Flume通用配置目录。--conf-file：配置文件位置。新起一个终端并连接44444端口。3. 修改flume的配置文件。# 配置flume的环境变量。输入hello flume。在flume控制台看到输出。Flume使用demo。--name：代理名称。# 指定日志输出路径。5.flume的使用。
flume使用实例
v15220的博客
05-19 776
由此可见当我们操作hive的时候 hive.log 就更新,由于我们监控了hive.log文件所以当有新数据追加到hive.log的时候 就会监听到 并打印到控制台。参数-n 表示jvm进程名 -c表示本次启动读取的配置文件conf目录下的文件 -f 表示具体执行的文件。a1.channels.c1.capacity = 1000 #1000个event。【2】创建文件 flume-taildir-hdfs.conf。#记录最后监控文件的断点的文件，此文件位置可不改。#文件的滚动与 Event 数量无关。
flume source 简介及官方用例
v15220的博客
05-19 574
一个类似 netcat 的源，它侦听给定的端口并将每行文本转换为一个事件。类似于 nc -k -l [主机] [端口]。换句话说，它打开一个指定的端口并侦听数据。期望提供的数据是换行符分隔的文本。每行文本都会变成一个 Flume 事件，并通过连接的通道发送Defaultchannelstypebindporta1.sourcesr1c1netcat0.0.0.06666c1。
flume简介
v15220的博客
05-19 126
如果interceptors需要删除事件，则它不会在返回的列表中返回该事件。Sink作为Agent的输出口，负责不断轮询Channel中的事件并批量移除事件，根据配置文件的配置将事件写入到HDFS等存储系统，或者发到另一个Agent中。Source作为Agent的输入口，负责接收各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。
flume channel和interceptor简介及官方用例
v15220的博客
05-19 733
a1.sourcesr1a1.sinksk1c1# 先调用i1再调用i2i1 i2#这里自编的拦截器名为HostInterceptorfalsehostnamec1请注意，拦截器生成器将传递给 type config 参数。拦截器本身就是 可配置，并且可以传递配置值，就像传递给任何其他可配置组件一样。在上面的示例中，事件首先传递给 HostInterceptor，然后由 HostInterceptor 返回事件 然后传递给 TimestampInterceptor。
Flume 的基本介绍和安装部署
weixin_44480009的博客
05-20 516
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的框架服务Flume 基于流式架构，灵活简单，能够实时读取服务器本地磁盘的数据，将数据写入到 HDFS。
Flume Channels简介及官方用例
v15220的博客
05-19 453
通道是在代理上暂存事件的存储库。Source 添加事件，Sink 将其删除。事件存储在具有可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流，但在agent发生故障时会丢失暂存数据Defaultc1memory100001000020800000。
大数据开发面试题【Flume篇】
最新发布
weixin_53191998的博客
05-20 142
吐血整理，亲身体验
spark streaming知识点大纲
02-14
Spark Streaming可以从各种数据源（如Kafka，Flume，Twitter，Socket等）读取数据，并将数据转换为Resilient Distributed Datasets（RDDs），以进行实时处理。 以下是Spark Streaming的一些重要概念和功能： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值