flume常用功能总结

最新推荐文章于 2022-07-18 09:42:59 发布
最新推荐文章于 2022-07-18 09:42:59 发布
阅读量414 收藏 1
点赞数 2
分类专栏： 大数据总结 文章标签： 大数据 flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hiscoming/article/details/114435213
版权

1.通过netcat作为source，sink为logger的方式
flume指令：
./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf -name a1 -Dflume.root.logger=INFO,console

发送端：[root@master ~]# telnet localhost 44444
在这里插入图片描述
在这里插入图片描述
flume接收：

2021-01-21 22:15:39,225 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 31 0D                                           1. }
2021-01-21 22:15:39,225 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 31 0D                                           1. }
2021-01-21 22:15:39,226 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 31 0D                                           1. }

对应conf配置文件说明：

#Name the components on this agent 针对agent重命名为a1
a1.sources = r1 # source别名为 r1
a1.sinks = k1 # sinks别名为 k1
a1.channels = c1 # channel别名为 c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# source定义正则匹配规则
#a1.sources.r1.interceptors = i1  
#a1.sources.r1.interceptors.i1.type =regex_filter  
#a1.sources.r1.interceptors.i1.regex =^[0-9]*$  
#a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
 a1.sinks.k1.type = logger
#a1.channels = c1
#a1.sinks = k1
# sink为hdfs
#a1.sinks.k1.type = hdfs
# 数据存储到hdfs的文件路径
#a1.sinks.k1.hdfs.path = hdfs:/flume
# 表示最终的文件前缀
#a1.sinks.k1.hdfs.filePrefix = events
# 表示到了需要触发的时间时，是否要更新文件夹，true:表示是
#a1.sinks.k1.hdfs.round = true
#a1.sinks.k1.hdfs.roundValue = 10
# 表示切换时间的单位是分钟
#a1.sinks.k1.hdfs.roundUnit = minute
# 表示过了一分钟生成一个文件
#a1.sinks.k1.hdfs.roundInterval = 60 
#a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in 
# memory channel配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 将source channel sink进行串联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

加入正则表达式的conf配置：

#Name the components on this agent 针对agent重命名为a1
a1.sources = r1 # source别名为 r1
a1.sinks = k1 # sinks别名为 k1
a1.channels = c1 # channel别名为 c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# source定义正则匹配规则
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =regex_filter
a1.sources.r1.interceptors.i1.regex =^[0-9]*$
a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
 a1.sinks.k1.type = logger
#a1.channels = c1
#a1.sinks = k1
# sink为hdfs
#a1.sinks.k1.type = hdfs
# 数据存储到hdfs的文件路径
#a1.sinks.k1.hdfs.path = hdfs:/flume
# 表示最终的文件前缀
#a1.sinks.k1.hdfs.filePrefix = events
# 表示到了需要触发的时间时，是否要更新文件夹，true:表示是
#a1.sinks.k1.hdfs.round = true
#a1.sinks.k1.hdfs.roundValue = 10
# 表示切换时间的单位是分钟
#a1.sinks.k1.hdfs.roundUnit = minute
# 表示过了一分钟生成一个文件
#a1.sinks.k1.hdfs.roundInterval = 60 
#a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in 
# memory channel配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 将source channel sink进行串联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

测试发送数据：

[root@master ~]# 
[root@master ~]# telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
a
OK
b
OK
b
OK
c
OK
1
OK
2
OK
3
OK

接收过滤后的数据：数字被过滤掉：

2021-01-21 22:20:47,799 (lifecycleSupervisor-1-5) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
2021-01-21 22:21:03,633 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 61 0D                                           a. }
2021-01-21 22:21:04,374 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 62 0D                                           b. }
2021-01-21 22:21:05,517 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 62 0D                                           b. }
2021-01-21 22:21:06,133 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 63 0D

2.通过netcat作为source, sink写到hdfs
./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf -name a1 -Dflume.root.logger=INFO,console
conf配置：屏蔽logger 打开hdfs hdfs 路径

#Name the components on this agent 针对agent重命名为a1
a1.sources = r1 # source别名为 r1
a1.sinks = k1 # sinks别名为 k1
a1.channels = c1 # channel别名为 c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# source定义正则匹配规则
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =regex_filter
a1.sources.r1.interceptors.i1.regex =^[0-9]*$
a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
# a1.sinks.k1.type = logger
a1.channels = c1
a1.sinks = k1
# sink为hdfs
a1.sinks.k1.type = hdfs
# 数据存储到hdfs的文件路径
a1.sinks.k1.hdfs.path = hdfs:/flume
# 表示最终的文件前缀
a1.sinks.k1.hdfs.filePrefix = events
# 表示到了需要触发的时间时，是否要更新文件夹，true:表示是
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
# 表示切换时间的单位是分钟
a1.sinks.k1.hdfs.roundUnit = minute
# 表示过了一分钟生成一个文件
a1.sinks.k1.hdfs.roundInterval = 60
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in 
# memory channel配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 将source channel sink进行串联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

对应执行结果：

2021-01-21 22:29:54,443 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:150)] Source starting
2021-01-21 22:29:54,456 (lifecycleSupervisor-1-3) [INFO - org.apache.flume.source.NetcatSource.start(NetcatSource.java:164)] Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
2021-01-21 22:30:11,761 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.hdfs.HDFSDataStream.configure(HDFSDataStream.java:58)] Serializer = TEXT, UseRawLocalFileSystem = false
2021-01-21 22:30:12,016 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:234)] Creating hdfs:/flume/events.1611239411762.tmp
2021-01-21 22:30:43,060 (hdfs-k1-roll-timer-0) [INFO - org.apache.flume.sink.hdfs.BucketWriter.close(BucketWriter.java:363)] Closing hdfs:/flume/events.1611239411762.tmp
2021-01-21 22:30:43,116 (hdfs-k1-call-runner-7) [INFO - org.apache.flume.sink.hdfs.BucketWriter$8.call(BucketWriter.java:629)] Renaming hdfs:/flume/events.1611239411762.tmp to hdfs:/flume/events.1611239411762
2021-01-21 22:30:43,132 (hdfs-k1-roll-timer-0) [INFO - org.apache.flume.sink.hdfs.HDFSEventSink$1.run(HDFSEventSink.java:394)] Writer callback called.

root@master ~]# telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
11
OK

OK

OK

OK
2
OK

OK
2
OK
3434342
OK
fs
OK
g
OK
ss
OK
fs
OK

[root@master ~]# hadoop fs -ls /flume
Found 2 items
-rw-r--r--   1 root supergroup         15 2020-06-09 07:34 /flume/events.1591659216989
-rw-r--r--   1 root supergroup         15 2021-01-21 22:30 /flume/events.1611239411762
[root@master ~]# 
[root@master ~]# 
[root@master ~]# hadoop fs -cat /flume/events.1611239411762
fs
g
ss
fs

3.通过netcat作为source, sink写到hdfs如何设置flume防止小文件过多？
a、限定一个文件的文件数据大小
a1.sinks.k1.hdfs.rollSize = 20010241024
b、限定文件可以存储多少个event
a1.sinks.k1.hdfs.rollCount = 10000

conf配置文件：

#Name the components on this agent 针对agent重命名为a1
a1.sources = r1 # source别名为 r1
a1.sinks = k1 # sinks别名为 k1
a1.channels = c1 # channel别名为 c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# source定义正则匹配规则
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =regex_filter
a1.sources.r1.interceptors.i1.regex =^[0-9]*$
a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
# a1.sinks.k1.type = logger
a1.channels = c1
a1.sinks = k1
# sink为hdfs
a1.sinks.k1.type = hdfs
#
#
#Name the components on this agent 针对agent重命名为a1
a1.sources = r1 # source别名为 r1
a1.sinks = k1 # sinks别名为 k1
a1.channels = c1 # channel别名为 c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# source定义正则匹配规则
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type =regex_filter
a1.sources.r1.interceptors.i1.regex =^[0-9]*$
a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
# a1.sinks.k1.type = logger
a1.channels = c1
a1.sinks = k1
# sink为hdfs
a1.sinks.k1.type = hdfs
# 数据存储到hdfs的文件路径
a1.sinks.k1.hdfs.path = hdfs:/flume
# 表示最终的文件前缀
a1.sinks.k1.hdfs.filePrefix = events
# 表示到了需要触发的时间时，是否要更新文件夹，true:表示是
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
# 表示切换时间的单位是分钟
a1.sinks.k1.hdfs.roundUnit = minute
# 表示过了一分钟生成一个文件
a1.sinks.k1.hdfs.roundInterval = 60
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in 
# memory channel配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 将source channel sink进行串联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

每隔一分钟生成一个新的文件

./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf -name a1 -Dflume.root.logger=INFO,console

[root@master ~]# 
[root@master ~]# telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
hello
OK
zjpi^H^H
OK
zhouwf
OK

查看结果：

[root@master ~]# 
[root@master ~]# hadoop fs -cat /flume/events.1611585310928
hello
zjpi
zhouwf

4：通过HTTP作为source, sink写到logger
./bin/flume-ng agent --conf conf --conf-file ./conf/header_test.conf -name a1 -Dflume.root.logger=INFO,console

conf配置如下：

#name the components on this agent
agent.sources = r1
agent.sinks = k1
agent.channels = c1
# Describe/configuration the source
agent.sources.r1.type = org.apache.flume.source.http.HTTPSource
agent.sources.r1.bind = master
agent.sources.r1.port =9989
#agent.sources.r1.fileHeader = true

#agent.sources.r1.interceptors=i1
#agent.sources.r1.i1.types=regex_filter
#agent.sources.r1.interceptors.regex=^[0-9]*$
#agent.sources.r1.interceptors.i1.excludeEvents=true

# Describe the sink
agent.sinks.k1.type = logger

# Use a channel which buffers events in memory
agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000
agent.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
agent.sources.r1.channels = c1
agent.sinks.k1.channel = c1

启动：
./bin/flume-ng agent -c conf -f conf/pull.conf -n a2 -Dflume.root.logger=INFO,console

在master上配置push.conf：

#Name the components on this agent
a1.sources= r1
a1.sinks= k1
a1.channels= c1

#Describe/configure the source
a1.sources.r1.type= netcat
a1.sources.r1.bind= localhost
a1.sources.r1.port = 44444
a1.sources.r1.channels= c1

#Use a channel which buffers events in memory
a1.channels.c1.type= memory
a1.channels.c1.keep-alive= 10
a1.channels.c1.capacity= 100000
a1.channels.c1.transactionCapacity= 100000

#Describe/configure the source
a1.sinks.k1.type= avro #注意这里
a1.sinks.k1.channel= c1
a1.sinks.k1.hostname= slave2 #注意这里
a1.sinks.k1.port= 44444

启动：
./bin/flume-ng agent -c conf -f conf/push.conf -n a1 -Dflume.root.logger=INFO,console

在master节点：
在这里插入图片描述
slave2接收到：
在这里插入图片描述

2021-01-25 11:13:13,744 (lifecycleSupervisor-1-4) [INFO - org.apache.flume.source.AvroSource.start(AvroSource.java:253)] Avro source r1 started.

2021-01-25 11:13:42,400 (New I/O server boss #1 ([id: 0xa6a799e4, /192.168.96.12:44444])) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream(NettyServer.java:171)] [id: 0x4e222782, /192.168.96.10:49504 => /192.168.96.12:44444] OPEN
2021-01-25 11:13:42,402 (New I/O  worker #1) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream(NettyServer.java:171)] [id: 0x4e222782, /192.168.96.10:49504 => /192.168.96.12:44444] BOUND: /192.168.96.12:44444
2021-01-25 11:13:42,402 (New I/O  worker #1) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream(NettyServer.java:171)] [id: 0x4e222782, /192.168.96.10:49504 => /192.168.96.12:44444] CONNECTED: /192.168.96.10:49504
2021-01-25 11:15:03,432 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 68 65 6C 6C 6F 0D                               hello. }
2021-01-25 11:15:26,434 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 31 0D                                           1. }
2021-01-25 11:15:26,434 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 32 0D                                           2. }
2021-01-25 11:15:26,435 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 33 0D                                           3. }
2021-01-25 11:15:26,435 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 34 0D                                           4. }
2021-01-25 11:15:26,435 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 35 0D                                           5. }
2021-01-25 11:15:26,435 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 66 73 0D                                        fs. }
^Z
  1. flume和kafka对接
    第一步：
    在三个节点启动zookeeper: ./zkServer.sh start
[root@slave1 ~]# cd $ZOOKEEPER_HOME
[root@slave1 zookeeper-3.4.11]# 
[root@slave1 zookeeper-3.4.11]# ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper-3.4.11/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@slave1 zookeeper-3.4.11]# 
[root@slave1 zookeeper-3.4.11]# 
[root@slave1 zookeeper-3.4.11]# jps
1890 QuorumPeerMain
1638 DataNode
1704 NodeManager
1919 Jps
[root@slave1 zookeeper-3.4.11]# 
[root@slave1 zookeeper-3.4.11]# 
[root@slave1 zookeeper-3.4.11]# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: leader
[root@slave1 zookeeper-3.4.11]#

第二步：在master启动kafka
./bin/kafka-server-start.sh config/server.properties &
此处& 是后台进程的意思
第三步：
查看kafka topic

[root@master kafka_2.11-0.10.2.1]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test
[root@master kafka_2.11-0.10.2.1]#

创建kafka主题：
[root@master kafka_2.11-0.10.2.1]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhouwf_0131

消费kafka 主题：
模拟将后端日志写入到日志文件中，由kafka消费掉
消费主题：

[root@master kafka_2.11-0.10.2.1]# 
[root@master kafka_2.11-0.10.2.1]# ./bin/kafka-console-consumer.sh --zookeeper master:2181 --topic zhouwf_0131 --from-beginning

启动flume:

[root@master apache-flume-1.6.0-bin]# ./bin/flume-ng agent --conf conf --conf-file conf/flume_kafka.conf -name a1 -Dflume.root.logger=INFO,console

清空原来的日志文件：
echo ‘’ > flume_exec_test.txt

利用python脚本模拟打入日志文件：
python flume_data_write.py

可以看到kafka开始消费：

{"order_id": 1601212, "user_id": 46476, "eval_set": "prior", "order_number": 7, "order_dow": 0, "hour": 12, "day": 14.0}
{"order_id": 1946194, "user_id": 46476, "eval_set": "test", "order_number": 8, "order_dow": 0, "hour": 12, "day": 7.0}
{"order_id": 2185952, "user_id": 46477, "eval_set": "prior", "order_number": 1, "order_dow": 1, "hour": 23, "day": 0.0}
{"order_id": 1561966, "user_id": 46477, "eval_set": "prior", "order_number": 2, "order_dow": 2, "hour": 14, "day": 8.0}
neo .zhou
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume两种写法
前方的路在刚开始
06-24 203
1.全写 bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console 2.简写 bin/flume-ng agent -n a1 -c conf -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console 说明 --conf conf...
Flume的安装和使用
最新发布
qq_68383591的博客
05-29 2667
如果启动中提示PathNotFount: java.exe，则需要配置java的环境变量，JAVA_HOME=java的安装路径，在Path中配置%JAVA_HOME%\bin。注意：java的安装路径中尽量不要有空格。Windows系统中有一个目录“E:\bigdataCol\mylogs”，这个目录下不断有新的文件生成，使用Flume采集这个目录下的文件，并把文件内容显示到控制台（屏幕）。（1）在windows中打开telnet服务。切换到flume的bin目录。
flume学习之二 flume安装和使用方法
技术人宝哥
04-17 4924
1、 先来个简单的：单节点 Flume 配置 telnet:example.conf ./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf --name a1 -Dflume.root.logger=INFO,console PS：-Dflume.root.logger=INFO,console 仅为 debug 使
flume简介与安装配置
璃鹿的博客
10-09 486
1 flume简介 flume是分布式的海量日志采集、聚合和传输的系统。从各类数据发送方接收数据进行简单处理后再写到各数据接收方。 配置项名称介绍： a1.sources = r1 r2 a1.channels = c1 c2 a1.sinks = k1 k2 a1：flume节点名称，启动时通过参数命令-name指定。 a1.sources：监听的源，若有多个用空格隔开，用于收集数据...
Flume NG 简介及配置实战
xtqve的专栏
12-04 631
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输
flume自定义功能实现代码
12-12
http://blog.csdn.net/m0_37739193/article/details/78779052这篇文章中所需的代码
flume学习总结1
08-15
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目
Flume学习思维导图总结
01-18
Flume学习思维导图总结
flume学习总结3
08-15
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目
Flume面试知识点总结
03-24
flume面试题.
数据采集入门——Flume应用
m0_47396944的博客
04-29 2166
Flume应用 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： · Source：采集源，用于跟数据源对接，以获取数据； · Channel：agent内部的数据传输通道，用于从source将数据传递到sink； · Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 在整个数据的传输的过程中，流动的是event
flume使用（六）：后台启动及日志查看
热门推荐
maoyuanming0806的博客
06-25 2万+
本文介绍flume后台启动方式，运行日志查看 处理的问题 flume后台运行 flume运行日志查看 nohup后台启动查看控制台日志 flume运行日志根据log4j.properties配置输出 处理的问题 flume 普通方式启动会有自己自动停掉的问题，这可能是linux的进程机制把他停掉的原因。 普通运行方式： ./flume-ng agen...
Flume的概述与入门
lslslslslss的博客
12-27 535
一、概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。并于2009 年被捐赠给了apache 软件基金会，是hadoop的一个相关组件。Flume基于流式架构，灵活简单。 那么为什么使用Flume 1.HDFS最怕的就是小文件过多，如果直接从磁盘文件夹读取，会产生大量的小文件 2. 二、Flume的架构 1. Agent Agent主要有3个部分...
Flume安装、配置及简单示例
Nicole Cao的博客
08-16 443
1. 系统需求: Flume需要JAVA 1.6及以上（推荐1.7），对Agent监控目录的读写权限。 2. 下载软件包 到Flume官网上http://flume.apache.org/download.html下载软件包, 3. 简单示例 3.1 修改配置文件 输入以下内容 # 指定Agent的组件名称 a1.sources = r1 a1.sinks = k
Flume
weixin_30768661的博客
06-21 348
阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构　　 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Flume数据流 4.3、Flume可靠性 五、Flume使用场景 5.1、多个age...
Flume知识点
weixin_49113403的博客
07-18 663
flume最主要的作用就是，服务器本地磁盘数据，将数据写入到。（最主流）
Flume集群环境搭建以及几种类型的conf配置文件
ForgetThatNight的博客
04-22 2796
1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压  tar -zxvfapache-flume-1.6.0-bin.tar.gz，然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)3、指定采集方案配置文件，在相应的...
Flume功能简介
qq_31569207的博客
07-11 5054
优点：flume是一种分布式、可靠以及高可用的海量日志采集、聚合和传输的系统。功能：支持在日志系统中定制各类数据发送方，用于收集数据；同时可提供对数据进行简单处理，并具有写到各种数据接收方（HDFS、Hbase等）的能力。结构：Agent主要由：source，channel，sink三个组件组成。          source：从数据发生器接收数据，并将接的数据以flume的event格式传递给...
Flume应用实战——Flume安装及简单使用
干勾鱼的CSDN博客
08-07 2万+
地方
flume常用的channel及运用场景
04-21
Flume常用的channel包括Memory Channel（适用于短期缓冲）、File Channel（适用于长期缓冲）和JDBC Channel（适用于数据库缓冲）。它们的运用场景根据不同的需求而定，比如Memory Channel适用于单机高吞吐量的数据传输，File Channel适用于数据量较大、需要长时间缓存的情况，而JDBC Channel适用于将日志写入到数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值