(3)flume 单节点写入HDFS练习 以及 自定义拦截器 进行formatLog

最新推荐文章于 2023-04-15 20:50:47 发布
最新推荐文章于 2023-04-15 20:50:47 发布
阅读量1.3k 收藏
点赞数
分类专栏： Apache Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pandajava/article/details/41963733
版权

(1)参考http://my.oschina.net/leejun2005/blog/288136#OSC_h2_10

(2)flume 用hdfs sink的时候需要用到hadoop的相关jar包。 使用cdh版本的会自带相关的jar包

(3)flume_directHDFS2.conf 

# Firstly, now that we've defined all of our components, tell agent1 which ones we want to activate.
agent1.sources = exec-source1
agent1.channels = ch1
agent1.sinks = log-sink1



##define -- Exec Source
#type       The component type name, needs to be exec  (required)
#shell      A shell invocation used to run the command 
#command    The command to execute  (required)
#channels   (required)

agent1.sources.exec-source1.type = exec
agent1.sources.exec-source1.shell = /bin/bash -c
agent1.sources.exec-source1.command = tail -n +0 -F /usr/local/nginx/logs/vdnlog_access.log
agent1.sources.exec-source1.channels = ch1


##define -- Memory Channel called ch1 on agent1
#type			The component type name, needs to be memory (required)
#capacity		The maximum number of events stored in the channel
#transactionCapacity	The maximum number of events the channel will take from a source or give to a sink per transaction
#keep-alive		Timeout in seconds for adding or removing an event
agent1.channels.ch1.type = memory
agent1.channels.ch1.capacity = 100000
agent1.channels.ch1.transactionCapacity = 100000
agent1.channels.ch1.keep-alive = 30
 
# Define -- Hdfs Sink
#type			The component type name, needs to be hdfs  (required)
#channel		(required)
#hdfs.path		HDFS directory path (eg hdfs://namenode/flume/webdata/) (required)
#hdfs.writeFormat       Format for sequence file records. One of “Text” or “Writable” (the default).
#hdfs.fileType		File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t set codeC (2)CompressedStream requires set hdfs.codeC with an available codeC
#hdfs.filePrefix	Name prefixed to files created by Flume in hdfs directory
#hdfs.fileSuffix	Suffix to append to file (eg .avro - NOTE: period is not automatically added)
#hdfs.round		Should the timestamp be rounded down
#hdfs.roundValue	Rounded down to the highest multiple of this (in the unit configured using hdfs.roundUnit), less than current time.
#
#按照10分钟滚动一次  这三个参数 设置为0 不然不起作用。
#agent1.sinks.log-sink1.hdfs.rollInterval= 0
#agent1.sinks.log-sink1.hdfs.rollSize = 0
#agent1.sinks.log-sink1.hdfs.rollCount = 0
#
#此时日志带.tmp
#idleTimeout=5  Timeout after which inactive files get closed
###################
agent1.sinks.log-sink1.type = hdfs
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.hdfs.path = hdfs://101.240.151.41:9000/test/pjm/%y-%m-%d
agent1.sinks.log-sink1.hdfs.writeFormat = Text
agent1.sinks.log-sink1.hdfs.fileType = DataStream
agent1.sinks.log-sink1.hdfs.filePrefix = flume_%y-%m-%d_%H%M%S
agent1.sinks.log-sink1.hdfs.fileSuffix = .log
agent1.sinks.log-sink1.hdfs.round = true
agent1.sinks.log-sink1.hdfs.roundValue = 10
agent1.sinks.log-sink1.hdfs.roundUnit = minute
agent1.sinks.log-sink1.hdfs.rollInterval= 0
agent1.sinks.log-sink1.hdfs.rollSize = 0
agent1.sinks.log-sink1.hdfs.rollCount = 0
agent1.sinks.log-sink1.hdfs.useLocalTimeStamp = true
agent1.sinks.log-sink1.hdfs.callTimeout = 20000
agent1.sinks.log-sink1.hdfs.idleTimeout=5

（此处按照时间滚动文件   10分钟一个文件 ）

 bin/flume-ng agent --conf conf --conf-file ./conf/flume_directHDFS2.conf --name agent1 -Dflume.root.logger=INFO,console

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

//自定义拦截器

# Firstly, now that we've defined all of our components, tell agent1 which ones we want to activate.
agent.sources = exec-source1
agent.channels = memchannellv memchannelerr memchannelbf memchannelfs memchannelother
agent.sinks = hdfssinklv hdfssinkerr hdfssinkbf hdfssinkfs hdfssinkother



##define -- Exec Source
#type       The component type name, needs to be exec  (required)
#shell      A shell invocation used to run the command 
#command    The command to execute  (required)
#channels   (required)

agent.sources.exec-source1.type = exec
agent.sources.exec-source1.shell = /bin/bash -c
agent.sources.exec-source1.command = tail -F /usr/local/nginx/logs/vdnlog_access.log
agent.sources.exec-source1.interceptors = timestamp nginxlogformat
agent.sources.exec-source1.interceptors.nginxlogformat.type = com.cntv.bigdata.flume.interceptor.NginxInterceptor$Builder
agent.sources.exec-source1.interceptors.timestamp.type = timestamp


##sources selector
agent.sources.exec-source1.selector.type = multiplexing
agent.sources.exec-source1.selector.header = type
agent.sources.exec-source1.selector.mapping.lv = memchannellv
agent.sources.exec-source1.selector.mapping.err = memchannelerr
agent.sources.exec-source1.selector.mapping.bf = memchannelbf
agent.sources.exec-source1.selector.mapping.fs = memchannelfs
agent.sources.exec-source1.selector.default = memchannelother
agent.sources.exec-source1.channels = memchannellv memchannelerr memchannelbf memchannelfs memchannelother



##define -- Memory Channel called ch1 on agent1
#type			The component type name, needs to be memory (required)
#capacity		The maximum number of events stored in the channel
#transactionCapacity	The maximum number of events the channel will take from a source or give to a sink per transaction
#keep-alive		Timeout in seconds for adding or removing an event


 
agent.channels.memchannellv.type = memory
agent.channels.memchannellv.capacity = 10000
agent.channels.memchannellv.transactionCapacity = 10000
agent.channels.memchannellv.keep-alive = 3

agent.channels.memchannelerr.type = memory
agent.channels.memchannelerr.capacity = 10000
agent.channels.memchannelerr.transactionCapacity = 10000
agent.channels.memchannelerr.keep-alive = 3


agent.channels.memchannelbf.type = memory
agent.channels.memchannelbf.capacity = 10000
agent.channels.memchannelbf.transactionCapacity = 10000
agent.channels.memchannelbf.keep-alive = 3

agent.channels.memchannelfs.type = memory
agent.channels.memchannelfs.capacity = 10000
agent.channels.memchannelfs.transactionCapacity = 10000
agent.channels.memchannelfs.keep-alive = 3


agent.channels.memchannelother.type = memory
agent.channels.memchannelother.capacity = 10000
agent.channels.memchannelother.transactionCapacity = 10000
agent.channels.memchannelother.keep-alive = 3



# Define -- Hdfs Sink
#type			The component type name, needs to be hdfs  (required)
#channel		(required)
#hdfs.path		HDFS directory path (eg hdfs://namenode/flume/webdata/) (required)
#hdfs.writeFormat       Format for sequence file records. One of “Text” or “Writable” (the default).
#hdfs.fileType		File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t set codeC (2)CompressedStream requires set hdfs.codeC with an available codeC
#hdfs.filePrefix	Name prefixed to files created by Flume in hdfs directory
#hdfs.fileSuffix	Suffix to append to file (eg .avro - NOTE: period is not automatically added)
#hdfs.round		Should the timestamp be rounded down
#hdfs.roundValue	Rounded down to the highest multiple of this (in the unit configured using hdfs.roundUnit), less than current time.
#
#按照10分钟滚动一次  这三个参数 设置为0 不然不起作用。
#agent1.sinks.log-sink1.hdfs.rollInterval= 0
#agent1.sinks.log-sink1.hdfs.rollSize = 0
#agent1.sinks.log-sink1.hdfs.rollCount = 0
#
#
####################

#######lv
agent.sinks.hdfssinklv.type = hdfs
agent.sinks.hdfssinklv.hdfs.fileType = DataStream
agent.sinks.hdfssinklv.hdfs.idleTimeout = 60
agent.sinks.hdfssinklv.hdfs.round = true
agent.sinks.hdfssinklv.hdfs.roundValue = 10
agent.sinks.hdfssinklv.hdfs.roundUnit = minute
agent.sinks.hdfssinklv.hdfs.rollInterval = 0
agent.sinks.hdfssinklv.hdfs.rollSize = 0
agent.sinks.hdfssinklv.hdfs.rollCount = 0
agent.sinks.hdfssinklv.hdfs.path = hdfs://10.240.15.4:9000/test/pjm/xxoo/lv/%y-%m-%d
agent.sinks.hdfssinklv.hdfs.filePrefix = flume_bjxd02Lv_%y-%m-%d_%H%M%S
agent.sinks.hdfssinklv.hdfs.fileSuffix = .log
agent.sinks.hdfssinklv.channel = memchannellv

#######err
agent.sinks.hdfssinkerr.type = hdfs
agent.sinks.hdfssinkerr.hdfs.fileType = DataStream
agent.sinks.hdfssinkerr.hdfs.idleTimeout = 60
agent.sinks.hdfssinkerr.hdfs.round = true
agent.sinks.hdfssinkerr.hdfs.roundValue = 10
agent.sinks.hdfssinkerr.hdfs.roundUnit = minute
agent.sinks.hdfssinkerr.hdfs.rollInterval = 0
agent.sinks.hdfssinkerr.hdfs.rollSize = 0
agent.sinks.hdfssinkerr.hdfs.rollCount = 0
agent.sinks.hdfssinkerr.hdfs.path = hdfs://101.240.151.41:9000/test/pjm/xxoo/err/%y-%m-%d
agent.sinks.hdfssinkerr.hdfs.filePrefix = flume_bjxd02Err_%y-%m-%d_%H%M%S
agent.sinks.hdfssinkerr.hdfs.fileSuffix = .log
agent.sinks.hdfssinkerr.channel = memchannelerr

#######bf
agent.sinks.hdfssinkbf.type = hdfs
agent.sinks.hdfssinkbf.hdfs.fileType = DataStream
agent.sinks.hdfssinkbf.hdfs.idleTimeout = 60
agent.sinks.hdfssinkbf.hdfs.round = true
agent.sinks.hdfssinkbf.hdfs.roundValue = 10
agent.sinks.hdfssinkbf.hdfs.roundUnit = minute
agent.sinks.hdfssinkbf.hdfs.rollInterval = 0
agent.sinks.hdfssinkbf.hdfs.rollSize = 0
agent.sinks.hdfssinkbf.hdfs.rollCount = 0
agent.sinks.hdfssinkbf.hdfs.path = hdfs://101.240.151.41:9000/test/pjm/xxoo/bf/%y-%m-%d
agent.sinks.hdfssinkbf.hdfs.filePrefix = flume_bjxd02Bf_%y-%m-%d_%H%M%S
agent.sinks.hdfssinkbf.hdfs.fileSuffix = .log
agent.sinks.hdfssinkbf.channel = memchannelbf


#######fs
agent.sinks.hdfssinkfs.type = hdfs
agent.sinks.hdfssinkfs.hdfs.fileType = DataStream
agent.sinks.hdfssinkfs.hdfs.idleTimeout = 60
agent.sinks.hdfssinkfs.hdfs.round = true
agent.sinks.hdfssinkfs.hdfs.roundValue = 10
agent.sinks.hdfssinkfs.hdfs.roundUnit = minute
agent.sinks.hdfssinkfs.hdfs.rollInterval = 0
agent.sinks.hdfssinkfs.hdfs.rollSize = 0
agent.sinks.hdfssinkfs.hdfs.rollCount = 0
agent.sinks.hdfssinkfs.hdfs.path = hdfs://101.240.151.41:9000/test/pjm/xxoo/fs/%y-%m-%d
agent.sinks.hdfssinkfs.hdfs.filePrefix = flume_bjxd02Fs_%y-%m-%d_%H%M%S
agent.sinks.hdfssinkfs.hdfs.fileSuffix = .log
agent.sinks.hdfssinkfs.channel = memchannelfs

#######other
agent.sinks.hdfssinkother.type = hdfs
agent.sinks.hdfssinkother.hdfs.fileType = DataStream
agent.sinks.hdfssinkother.hdfs.idleTimeout = 60
agent.sinks.hdfssinkother.hdfs.round = true
agent.sinks.hdfssinkother.hdfs.roundValue = 10
agent.sinks.hdfssinkother.hdfs.roundUnit = minute
agent.sinks.hdfssinkother.hdfs.rollInterval = 0
agent.sinks.hdfssinkother.hdfs.rollSize = 0
agent.sinks.hdfssinkother.hdfs.rollCount = 0
agent.sinks.hdfssinkother.hdfs.path = hdfs://101.2401.151.4:9000/test/pjm/xxoo/other/%y-%m-%d
agent.sinks.hdfssinkother.hdfs.filePrefix = flume_bjxd02Other_%y-%m-%d_%H%M%S
agent.sinks.hdfssinkother.hdfs.fileSuffix = .log
agent.sinks.hdfssinkother.channel = memchannelother

xxxx@localhost flume]$ ./bin/flume-ng agent --conf conf --conf-file ./conf/flume_directHDFS3.properties --name agent -Dflume.root.logger=DEBUG,console,LOGFILE





pandajava
关注
专栏目录
Flume04：【案例】使用Flume采集文件内容上传至HDFS
weixin_40612128的博客
03-03 7650
案例：采集文件内容上传至HDFS 接下来我们来看一个工作中的典型案例： 采集文件内容上传至HDFS 需求：采集目录中已有的文件内容，存储到HDFS 分析：source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置Agent了，可以把example.conf拿过来修改一下，新的文件名为file-to-hdfs.conf 首先是基于目录的source，咱们前面说过，Spooling Directory Source可以实现目录监控 来看一下这个Spoo
flume自定义拦截器实现日期在hdfs上分类
张不帅
07-08 800
pom.xml <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </depe...
Flume中的HDFS Sink配置参数说明
热门推荐
BlueSky
03-30 1万+
关键字：flume、hdfs、sink、配置参数 转自：http://lxw1234.com/archives/2015/10/527.htm Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channeltype hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/
HDFS的 InputFormat自定义
OOC_ZC的博客
01-12 827
比如一个100TB的文件装入HDFS集群。 并行处理切分文件就非常重要。因为每台机器都保存着大文件的一部分，则从文件中间开始处理文件就很重要。 Hadoop的文件系统提供了FSDataInputStream类，而未使用DataInputStream类，主要因为FSD实现了文件的随机读写功能。 这样每个分片都由它所驻留的机器进行处理，就自动实现了并行。 一般Hadoop默认将每一行视为一个记
flume源码学习8-hdfs sink的具体写入流程
weixin_33872566的博客
03-07 118
上一篇说了HDFSEventSink的实现，这里根据hdfs sink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfs sink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H： hdfs.rollInterval=60 hdfs.rollSize=0//想让文件只根据实际来...
Flume：自定义拦截器-选择器-kafka
weixin_45484707的博客
10-08 1088
kafka基本操作与flume级联案例操作手册（不使用选择器、拦截器）： 1、启动hdfs、kafka （1）如果是第一次启动kafka，启动前需要设置一下broker.id=0或1： vi /opt/apps/kafka_2.11-2.0.0/config/server.properties ①broker.id=0或broker.id=1 ②zookeeper地址： zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181 （2）
flume案例（一）：自定义拦截器案例实现
weixin_41765352的博客
12-02 409
在该案例中，我们以端口数据模拟日志，以是否包含”sxsy.com”模拟不同类型的日志，我们需要自定义 interceptor 区分数据中是否包含”sxsy.com”，将其分别发往不同的分析系统（Channel）。
2020.12.01课堂笔记(flume拦截器以及自定义拦截器)
超可爱慕之
12-01 253
flume的拦截器interceptors分为自带的拦截器以及用户自定义的拦截器。 用户自定义拦截器的时候可以划分为3个部分： 1.按照需求编写Java代码 2.打成jar包，上传到flume的lib目录下 3.编写agent的组件，执行 使用flume自带的拦截器regex_filter 正则过滤拦截器： 编写agent组件： // agent组件分为三个部分: sources,channels,sinks users.sources=userSource users.channels=userChann
hadoop离线阶段（第十六节—1）flume的介绍、安装、使用和自定义拦截器
hwq317622817的博客
12-12 183
flume的介绍 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一般的采集需求，通过对flume的简单配置即可实现。 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景。 运行机制 Flume分布式系统中最核心的角色是agent
Flume+Kafka+HDFS综合运用
zhz的博客
05-06 1949
Flume+Kafka+HDFS综合运用 实验内容 如下图所示： 在某一实际应用中，有一个的数据源(可用Source类型为Exec Source或NetCat Source的Agent a1来用模拟）， 为方便后期数据分析，需要记录事件的产生IP、时间（格式：年月日时分秒）以及事件类型（事件类型根据事件Body中包含WARNING：、ERROR：、**INFO：**来确定为WARNING、ERROR、INFO，如不包含，则无需记录事件类型）事件经处理后汇总到Agent a2。 Agent a2根据事件类型，
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1385
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
08_Flume之HDFS Sink 的参数解析及异常处理
weixin_40727028的博客
04-15 608
设置为0，如果flume程序突然宕机，就会导致 hdfs上的 .tmp后缀的文件无法会更改为完成的文件，造成一种假象，以为该文件正在写入。当程序重启时，就会有两个 .tmp文件。需要注意的是，这些jar包的版本要和你的Hadoop集群的版本保持一致，否则可能会出现不兼容等问题。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。
flume参数配置详解
十色花的博客
08-22 9186
一、什么是flume Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 二、flume特点 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...
Flume中的HDFS Sink配置
u012689336的专栏
09-30 4768
Flume中的HDFS Sink配置参数说明 type：hdfs path：hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ filePrefix：默认值：FlumeData，写入hdfs的文件名前缀 fileSuffix：写入 hdfs 的文件名后缀，比如：.lzo .log等。 inUsePrefix：临时文件的文件名前
Flume avro client和hdfs sink 完成自定义目录文件收集
orangleliu 笔记本
04-11 1393
准备 背景: 把分散在个边缘Node的访问日志收集到中央节点，然后在做后续的处理。边缘Node(例如hostname为BJ-NODE1) 上的日志每分钟切出来一个文件，通过 Flume avro client 把5分钟粒度内的日志上传到中央节点，生成一个文件，文件名类似 BJ-NODE1_timestamp.log。 大概的逻辑如下图 avro clientD中央avro clientavro ...
Flume参数详解
不积跬步，无以至千里
12-20 1475
目录 配置参数详解 小文件问题 注意事项 1.idleTimeout 设置为 0 2.round 与 rollInterval 理解有误 配置参数详解 type ：hdfs path： 集群的nameservers名字；单节点的直接写：hdfs://主机名(ip):9000/xxx HA集群：hdfs://myclus...
Flume的学习及使用
xhzxhz12的博客
05-19 824
第一章：Flume的简介 1.1 大数据处理流程 在企业中，大数据的处理流程一般是： 1.数据采集 2.数据存储 3.数据清洗 4.数据分析 5.数据展示 参考下图： 1.2 Flume的简介 Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 参考官网： http://flume.apache
记录-----自定义interceptor，解决flume监控日志上传HDFS日期后移一天问题
gk91620的博客
09-12 993
1.自定义flume的interceptor添加自定义header package com.huajie.flume.interceptor.custominterceptor; import com.google.common.collect.Lists; import org.apache.flume.Context; import org.apache.flume.Event; im...
flume读取rabbitmq写入hdfs
最新发布
06-08
要使用Flume读取RabbitMQ并将数据写入HDFS，可以按照以下步骤进行： 1. 安装Flume和RabbitMQ。 2. 配置RabbitMQ，创建一个Exchange和一个Queue，将Exchange和Queue绑定在一起。 3. 在Flume的配置文件中，配置RabbitMQ Source和HDFS Sink。 示例配置文件如下： ``` agent.sources = rabbitmqSource agent.channels = memoryChannel agent.sinks = hdfsSink # 配置RabbitMQ Source agent.sources.rabbitmqSource.type = com.cloudera.flume.source.rabbitmq.RabbitMQSource agent.sources.rabbitmqSource.uri = amqp://<username>:<password>@<rabbitmq-host>:<rabbitmq-port>/ agent.sources.rabbitmqSource.exchange = <exchange-name> agent.sources.rabbitmqSource.queue = <queue-name> agent.sources.rabbitmqSource.batchSize = 100 # 配置Memory Channel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 # 配置HDFS Sink agent.sinks.hdfsSink.type = hdfs agent.sinks.hdfsSink.hdfs.path = hdfs://<namenode>:<port>/<path> agent.sinks.hdfsSink.hdfs.fileType = DataStream agent.sinks.hdfsSink.hdfs.writeFormat = Text agent.sinks.hdfsSink.hdfs.rollInterval = 300 agent.sinks.hdfsSink.hdfs.rollSize = 0 agent.sinks.hdfsSink.hdfs.rollCount = 100 agent.sinks.hdfsSink.channel = memoryChannel ``` 其中，<username>、<password>、<rabbitmq-host>、<rabbitmq-port>、<exchange-name>、<queue-name>、<namenode>、<port>和<path>需要替换为实际的值。 4. 启动Flume Agent，使用以下命令启动： ``` $FLUME_HOME/bin/flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/flume.conf --name agent -Dflume.root.logger=INFO,console ``` 其中，$FLUME_HOME是Flume的安装目录。 5. Flume将开始从RabbitMQ读取数据并将其写入HDFS。 注意：在实际生产环境中，需要根据实际需求对Flume的配置进行优化和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值