flume kafka

最新推荐文章于 2021-06-30 19:21:40 发布
最新推荐文章于 2021-06-30 19:21:40 发布
阅读量554 收藏 1
点赞数 1
分类专栏： 大数据 flume 文章标签： flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigdataf/article/details/78603374
版权

1.查看消费情况

kafka-run-class kafka.tools.ConsumerOffsetChecker --group groupname --topic topicname --zookeeper ip1:2181,ip2:2181,ip3:2181

消费情况说明：

Group           Topic                          Pid Offset          logSize         Lag             Owner
消费者组名   话题名    分区id    当前已消费的条数   总条数    未消费的条数

2.flume-1.6 多source，多channel，多sink配置

#source的名字
agent.sources = pc app
# channels的名字，建议按照type来命名
agent.channels = FilePc  FileApp
# sink的名字，建议按照目标来命名
agent.sinks = hdfsSinkPc  hdfsSinkApp

# 指定source使用的channel名字
agent.sources.pc.channels = FilePc
agent.sources.app.channels = FileApp

# 指定sink需要使用的channel的名字,注意这里是channel
agent.sinks.hdfsSinkPc.channel = FilePc
agent.sinks.hdfsSinkApp.channel = FileApp

#-------- kafkaSource相关配置-----------------
# 定义消息源类型
agent.sources.pc.type = org.apache.flume.source.kafka.KafkaSource
agent.sources.app.type = org.apache.flume.source.kafka.KafkaSource
# 定义kafka所在zk的地址
#
# 这里特别注意: 是kafka的zookeeper的地址注意版本
#
agent.sources.pc.zookeeperConnect = 10.15.201.197:2181,10.15.201.198:2181,10.15.201.199:2181
agent.sources.app.zookeeperConnect = 10.15.201.197:2181,10.15.201.198:2181,10.15.201.199:2181
# 配置消费的kafka topic
agent.sources.pc.topic = suggest_pc_action
agent.sources.app.topic = suggest_app_action

# 配置消费者组的id
agent.sources.pc.groupId = flume57_pc
agent.sources.app.groupId = flume57_app
# 消费超时时间,参照如下写法可以配置其他所有kafka的consumer选项。注意格式从kafka.xxx开始是consumer的配置属性
agent.sources.pc.kafka.consumer.timeout.ms = 1000
agent.sources.app.kafka.consumer.timeout.ms = 1000



#------- Channel相关配置-------------------------
# channel类型
agent.channels.FilePc.type = File
agent.channels.FileApp.type = File
# channel存储的事件容量
agent.channels.FilePc.capacity=10000
agent.channels.FileApp.capacity=10000
# 事务容量 
agent.channels.FilePc.transactionCapacity=1000 
agent.channels.FileApp.transactionCapacity=1000

#---------hdfsSink 相关配置------------------
agent.sinks.hdfsSinkPc.type = hdfs
agent.sinks.hdfsSinkApp.type = hdfs
# 注意, 我们输出到下面一个子文件夹datax中
agent.sinks.hdfsSinkPc.hdfs.path = hdfs://namenodeip:8020/xcardata/log/kafka_log/pc_action_log/%Y%m%d%H
agent.sinks.hdfsSinkPc.hdfs.writeFormat = Text
agent.sinks.hdfsSinkPc.hdfs.fileType = DataStream
#默认值：1024,当临时文件达到该大小（单位：bytes）时，滚动成目标文件
agent.sinks.hdfsSinkPc.hdfs.rollSize = 10240000
#当events数据达到该数量时候，将临时文件滚动成目标文件；如果设置成0，则表示不根据events数据来滚动文件；
agent.sinks.hdfsSinkPc.hdfs.rollCount = 0
#默认值：30,hdfs sink间隔多长将临时文件滚动成最终目标文件，单位：秒；如果设置成0，则表示不根据时间来滚动文件；
agent.sinks.hdfsSinkPc.hdfs.rollInterval = 60


agent.sinks.hdfsSinkApp.hdfs.path = hdfs://namenodeip:8020/xcardata/log/kafka_log/app_action_log/%Y%m%d%H
agent.sinks.hdfsSinkApp.hdfs.writeFormat = Text
agent.sinks.hdfsSinkApp.hdfs.fileType = DataStream
agent.sinks.hdfsSinkApp.hdfs.rollSize = 10240000
agent.sinks.hdfsSinkApp.hdfs.rollCount = 0
agent.sinks.hdfsSinkApp.hdfs.rollInterval = 60

#配置前缀和后缀
agent.sinks.hdfsSinkPc.hdfs.filePrefix=pc_action_log
agent.sinks.hdfsSinkPc.hdfs.fileSuffix=.json
agent.sinks.hdfsSinkApp.hdfs.filePrefix=app_action_log
agent.sinks.hdfsSinkApp.hdfs.fileSuffix=.json

#避免文件在关闭前使用临时文件
#agent.sinks.hdfsSink.hdfs.inUserPrefix=_
#agent.sinks.hdfsSink.hdfs.inUserSuffix=

#自定义拦截器
#agent.sources.kafkaSource.interceptors=i1
#agent.sources.kafkaSource.interceptors.i1.type=com.hadoop.flume.FormatInterceptor$Builder
#agent.channels = memoryChannel

#channels，通道目录配置：把文件事件持久化到本地硬盘eDualCheckpoints
#配置多channel备份
#agent.channels.FilePc.useDualCheckpoints=ture
#agent.channels.FileApp.useDualCheckpoints=ture
#agent.channels.FilePc.backupCheckpointDir=/opt/apache-flume-1.6.0-bin/checkpoint2
agent.channels.FilePc.checkpointDir=/opt/apache-flume-1.6.0-bin/checkpoint_Pc
agent.channels.FileApp.checkpointDir=/opt/apache-flume-1.6.0-bin/checkpoint_App
agent.channels.FilePc.dataDirs=/opt/apache-flume-1.6.0-bin/dataDir_Pc
agent.channels.FileApp.dataDirs=/opt/apache-flume-1.6.0-bin/dataDir_App
#日志文件大小，默认2G，
agent.channels.FilePc.maxFileSize=2146435071
agent.channels.FileApp.maxFileSize=2146435071

3.flume agent 启动

#设置http的 metrics
/opt/apache-flume-1.6.0-bin/bin/flume-ng agent -c conf -f conf/flume-conf.properties -n agent -Dflume.monitoring.type=http -Dflume.monitoring.port=5653 -Dflume.root.logger=INFO,console  >>flume_to_hdfs.log 2>&1 &
ip:port/metrics

{
    "SOURCE.app": {
        "KafkaCommitTimer": "528",
        "KafkaEventGetTimer": "161840",
        "EventReceivedCount": "8272",  //source端成功收到的event数量
        "AppendBatchAcceptedCount": "0", //追加到channel中的批数量
        "Type": "SOURCE",
        "EventAcceptedCount": "8272", //成功放入channel的event数量
        "AppendReceivedCount": "0",//source追加目前收到的数量
        "StartTime": "1511322862896",
        "AppendAcceptedCount": "0", //放入channel的event数量
        "OpenConnectionCount": "0",//打开的连接数
        "AppendBatchReceivedCount": "0",//source端刚刚追加的批数量
        "StopTime": "0" //组件停止时间
    },
    "SOURCE.pc": {
        "KafkaCommitTimer": "2117",
        "KafkaEventGetTimer": "536256",
        "EventReceivedCount": "115891",
        "AppendBatchAcceptedCount": "0",
        "Type": "SOURCE",
        "EventAcceptedCount": "115891",
        "AppendReceivedCount": "0",
        "StartTime": "1511322862896",
        "AppendAcceptedCount": "0",
        "OpenConnectionCount": "0",
        "AppendBatchReceivedCount": "0",
        "StopTime": "0"
    },
    "CHANNEL.FilePc": {
        "ChannelCapacity": "10000", //通道容量
        "ChannelFillPercentage": "1.91", //通道使用比例
        "Type": "CHANNEL",
        "ChannelSize": "191", //目前在channel中的event数量
        "EventTakeSuccessCount": "115700", //从channel中成功取走的event数量
        "EventTakeAttemptCount": "116707",//尝试从channel中取走event的次数
        "StartTime": "1511322861765",
        "EventPutSuccessCount": "115891",//成功放入channel的event数量
        "EventPutAttemptCount": "115891",//尝试放入将event放入channel的次数
        "StopTime": "0"
    },
    "SINK.hdfsSinkPc": {
        "ConnectionCreatedCount": "10",//创建连接数
        "ConnectionClosedCount": "9",//关闭连接数量
        "Type": "SINK",
        "BatchCompleteCount": "830",//完成的批数量
        "BatchEmptyCount": "523",//批量取空的数量
        "EventDrainAttemptCount": "115700",//尝试提交的event数量
        "StartTime": "1511322861782",
        "EventDrainSuccessCount": "115700",//成功发送event的数量
        "BatchUnderflowCount": "484",//正处于批量处理的batch数
        "StopTime": "0",
        "ConnectionFailedCount": "0" //连接失败数
    },
    "SINK.hdfsSinkApp": {
        "ConnectionCreatedCount": "10",
        "ConnectionClosedCount": "9",
        "Type": "SINK",
        "BatchCompleteCount": "13",
        "BatchEmptyCount": "288",
        "EventDrainAttemptCount": "8389",
        "StartTime": "1511322861782",
        "EventDrainSuccessCount": "8389",
        "BatchUnderflowCount": "112",
        "StopTime": "0",
        "ConnectionFailedCount": "0"
    },
    "CHANNEL.FileApp": {
        "ChannelCapacity": "10000",
        "ChannelFillPercentage": "0.0",
        "Type": "CHANNEL",
        "ChannelSize": "0",
        "EventTakeSuccessCount": "8389",
        "EventTakeAttemptCount": "8789",
        "StartTime": "1511322861494",
        "EventPutSuccessCount": "8272",
        "EventPutAttemptCount": "8272",
        "StopTime": "0"
    }
}

ganglia方式

        -Dflume.monitoring.type=ganglia  # 默认情况下flume以Ganglia3.1格式报告指标
        -Dflume.monitoring.pollFrequency=45 # 报告间隔时间(秒)
        -Dflume.monitoring.isGanglia3=true # 启用ganglia3个格式报告 
        -Dflume.root.logger=INFO,console

4.flume envet 数据结构

  1. event是flume中处理消息的基本单元，由零个或者多个header和正文body组成。header是一个map，body是一个字节数组，body才是我们实际使用中真正传输的数据，header传输的数据，我们是不会是sink出去的
  2. Header 是 key/value 形式的，可以用来制造路由决策或携带其他结构化信息(如事件的时间戳或事件来源的服务器主机名)。你可以把它想象成和 HTTP 头一样提供相同的功能——通过该方法来传输正文之外的额外信息。
  3. flume允许用户修改event，添加header，从而通过消息的内容对日志进行路由。具体需要使用的机制有：拦截器interceptor和选择器selector；

5.flume Interceptor 自带包括以下类型

Timestamp Interceptor；
Host Interceptor；
Static Interceptor；
UUID Interceptor；
Morphline Interceptor；
Search and Replace Interceptor；
Regex Filtering Interceptor；
Regex Extractor Interceptor；

(1) Interceptor
添加主节点的host到header中

a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  

# Describe/configure the source  
a1.sources.r1.type = syslogtcp  
a1.sources.r1.port = 50000  
a1.sources.r1.host = 192.168.10.2 
a1.sources.r1.channels = c1  

a1.sources.r1.interceptors = i1 
a1.sources.r1.interceptors.i1.type = host
a1.sources.r1.interceptors.i1.useIP = false
a1.sources.r1.interceptors.i1.hostHeader = agentHost

# Describe the sink  
a1.sinks.k1.type = logger   
a1.sinks.k1.channel = c1  


# Use a channel which buffers events inmemory  
a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  


启动案列
../bin/flume-ng agent -c conf ../conf -f ../conf/flume-conf-logger.properties  -n a1 -Dflume.root.logger=INFO,console
输入测试数据
Event created from Invalid Syslog data.
2017-11-23 11:47:58,476 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] sink.LoggerSink (LoggerSink.java:process(94)) - Event: { headers:{Severity=0, Facility=0, agentHost=hadoop2, flume.syslog.status=Invalid} body: 66 66 66 66 66 20 20 49 6E 74 65 72 63 65 70 74 fffff  Intercept }

可以看到对应的信息已经添加到header中，基于此可以对event在后续的channel的时候使用选择器Selectors

#timestamp类似的
a1.sources.r1.interceptors = i1 
a1.sources.r1.interceptors.i1.type = timestamp
a1.sources.r1.interceptors.i1.preserveExisting= false
#可以看到如下信息
Event created from Invalid Syslog data.
2017-11-23 12:02:33,694 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] sink.LoggerSink (LoggerSink.java:process(94)) - Event: { headers:{Severity=0, Facility=0, flume.syslog.status=Invalid, timestamp=1511409753690} body: 66 66 66 66 66 20 20 49 6E 74 65 72 63 65 70 74 fffff  Intercept }

Static Interceptor

#可添加多个
a1.sources.r1.interceptors = i1 
a1.sources.r1.interceptors.i1.type = static  
a1.sources.r1.interceptors.i1.key = key1  
a1.sources.r1.interceptors.i1.value = value1

#显示结果
 Syslog TCP Source starting...
2017-11-23 12:08:27,975 WARN  [New I/O  worker #1] source.SyslogUtils (SyslogUtils.java:buildEvent(316)) - Event created from Invalid Syslog data.
2017-11-23 12:08:27,980 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] sink.LoggerSink (LoggerSink.java:process(94)) - Event: { headers:{key1=value1, Severity=0, Facility=0, flume.syslog.status=Invalid} body: 66 66 66 66 66 20 20 49 6E 74 65 72 63 65 70 74 fffff  Intercept }
          ----->channel --->sink
    sink 
          ----->channel --->sink

a1.sources = r1  
a1.sinks = k1 k2
a1.channels = c1 c2 

# Describe/configure the source  

a1.sources.r1.type = syslogtcp  
a1.sources.r1.port = 50000  
a1.sources.r1.host = 192.168.10.2  
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.channels = c1 c2
a1.sources.r1.selector.header = key1
a1.sources.r1.selector.mapping.value1 = c1 
# 如果header中key1的值为value1，使用c1这个channel
a1.sources.r1.selector.mapping.value2 = c2 
# 如果header中key1的值为value1，使用c2这个channel
a1.sources.r1.selector.default = c1 
# 默认使用c1这个channel

a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = static  
a1.sources.r1.interceptors.i1.key = key1  
a1.sources.r1.interceptors.i1.value = value1
a1.sources.r1.interceptors.i2.type = static  
a1.sources.r1.interceptors.i2.key = key2  
a1.sources.r1.interceptors.i2.value = value2   
# Describe the sink  
a1.sinks.k1.type = logger   
a1.sinks.k2.type = logger   
a1.sinks.k1.channel = c1  
a1.sinks.k2.channel = c2
# Use a channel which buffers events inmemory  
a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  
a1.channels.c2.type = memory  
a1.channels.c2.capacity = 1000  
a1.channels.c2.transactionCapacity = 100  
#header
yslog TCP Source starting...
2017-11-23 14:54:31,743 WARN  [New I/O  worker #1] source.SyslogUtils (SyslogUtils.java:buildEvent(316)) - Event created from Invalid Syslog data.
2017-11-23 14:54:33,137 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] sink.LoggerSink (LoggerSink.java:process(94)) - Event: { headers:{key1=value1, key2=value2, Severity=0, Facility=0, flume.syslog.status=Invalid} body: 66 66 66 66 66 20 20 49 6E 74 65 72 63 65 70 74 fffff  Intercept }


#配置文件：timestamp_case16.conf  
# Name the components on this agent  
a1.sources = r1  
a1.sinks = k1 k2
a1.channels = c1 c2 

# Describe/configure the source  

a1.sources.r1.type = syslogtcp  
a1.sources.r1.port = 50000  
a1.sources.r1.host = 10.15.184.184 
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.channels = c1 c2
a1.sources.r1.selector.header = key1
a1.sources.r1.selector.mapping.value1 = c1 
# 如果header中validation的值为SUCCESS，使用c2这个channel
a1.sources.r1.selector.mapping.value2 = c2 
# 如果header中validation的值为FAIL，使用c1这个channel
a1.sources.r1.selector.default = c1 
# 默认使用c1这个channel

a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = static  
a1.sources.r1.interceptors.i1.key = key1  
a1.sources.r1.interceptors.i1.value = value1
a1.sources.r1.interceptors.i2.type = static  
a1.sources.r1.interceptors.i2.key = key2  
a1.sources.r1.interceptors.i2.value = value2
# Describe the sink  
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /tmp/log/flume1
a1.sinks.k2.type = file_roll
a1.sinks.k2.channel = c2
a1.sinks.k2.sink.directory = /tmp/log/flume2

# Use a channel which buffers events inmemory  
a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  
a1.channels.c2.type = memory  
a1.channels.c2.capacity = 1000  
a1.channels.c2.transactionCapacity = 100

#结果都写入到flume1中
# cat /tmp/log/flume1/1511420933553-1
fffff  Interceptor
fffff  Interceptor
fffff  Interceptor
bigdataf
关注
专栏目录
Flume配置文件kafkaSource Interceptor
08-07
Flume配置文件kafkaSource Interceptor，包含获取数据中的关键词时间日期等信息
利用Flume拦截器（interceptors）实现Kafka Sink的自定义规则多分区写入
小强签名设计 的博客
08-03 3518
本文大部分内容来自：http://lxw1234.com/archives/2015/11/547.htm，非常感谢原作者 我们目前的业务场景如下：前端的5台日志收集服务器产生网站日志，使用Flume实时收集日志，并将日志发送至Kafka，然后Kafka中的日志一方面可以导入到HDFS，另一方面供实时计算模块使用。 前面的文章《Kafka分区机制介绍与示例》介绍过Kafka的分区机
flume interceptor使用
qq_33498670的博客
03-03 411
Timestamp Interceptor 时间戳拦截器，将当前时间戳（毫秒）加入到events header中，key名字为：timestamp，值为当 前时间戳 参数 默认值 描述 type 取值为timestamp，也可以使用类名的全路径 preserveExisting false 如果设置为true，若事件中报头已经存在，不会替换报头同名key的值 a3.sou...
flume整合kafka，实现exactly one的数据采集
weixin_34029680的博客
01-22 263
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume1.5.0入门：安装、部署、及flume的案例
鲍礼彬的CSDN博客 ~_~
05-17 1560
问题导读 1.什么是flume 2.flume的官方网站在哪里？ 3.flume有哪些术语？ 4.如何配置flume数据源码？ 　　一、什么是Flume? 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着
flume.kafka:基于新 Kafka Producer 的 Flume kafka sink，可配置
06-05
基于新 Kafka Producer 的 Flume kafka sink，高性能且可配置。 它依赖于很少的项目/库，只有 Flume 1.5.2 kafka-clients-0.8.2.1 或更高版本，slf4j。 类似于 Flume 1.6 KafkaSink，但这里有一些不同： Flume 1.6 ...
Flume KafkaChannel的使用
upupfeng的博客
03-03 2069
Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。 使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。 另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。 以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。 需要注意的几点 通常，与channel相关的配置值应用
flume kafka sink kafka对接flume简单实现详解
weixin_46122692的博客
10-26 1999
1、flume的配置文件 kafka-sink.properties # Name the components on this agent # source:起一个别名 # properties文件它是java的配置文件,=左边就是键,=右边是值;键的开头都是以a1(就是flume的名字--agent的名字就是a1);a1随便起 a1.sources = r1 # sink:起一个别名 a1.sinks = k1 # channels;:起一个别名 a1.channels = c1 # Describe
flume+kafka+flink+mysql数据统计
04-20
在大数据处理领域，Flume、Kafka、Flink 和 MySQL 是四个非常重要的组件，它们各自承担着不同的职责，共同构建了一套高效的数据流处理系统。本文将深入探讨这些技术及其在"flume+kafka+flink+mysql数据统计"中的应用...
Flume案例
ZK_小小世界的专栏
08-17 1529
一、Flume的案例 1.案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 1）创建agent的配置文件avro.confa1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = avro a1.sour
Flume安装及简单使用
gakki_smile的博客
08-17 517
1下载解压到指定目录 22)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置1.root@m1:/home/hadoop/flume-1.5.0-bin# cp conf/flume-env.sh.template conf/flume-env.sh 2.root@m1:/home/hadoop/flume-1.5.0-bin# vi conf/flume-env.sh
flume中 kafka sink flume自定义Interceptor实现消息分主题收集
weixin_46122692的博客
10-27 312
自定义 flume 拦截器类，并打包上传到 /flume/lib 下 import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.util.ArrayList; import java.util.List; import java.util.Map; /* 自定义flume 拦截器 */ public class Ka
flume监控原理与案例演示
spark_dev的博客
06-30 519
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 一、flume监控原理 Flume为我们提供
Flume采集处理日志文件
cfeng1718的博客
06-07 1039
[b]1.source[/b] flume提供多种source供用户进行选择，尽可能多的满足大部分日志采集的需求，常用的source的类型包括avro、exec、netcat、spooling-directory和syslog等。具体的使用范围和配置方法详见source. [b]2.channel[/b] flume中的channel不如source和sink那么重要，但却是不可忽视的组...
flume日志采集 到kafka ，使用断点续传
沉淀的博客
05-24 1894
链接：https://pan.baidu.com/s/1Bj4ZW-zYybbeAxZt4-Jl8g 提取码：ca2o 复制这段内容后打开百度网盘手机App，操作更方便哦 使用断点续传所需要的JAR，可直接替换flume/bin目录下的flume-taildir-source-1.9.0.jar 链接：https://pan.baidu.com/s/1Aqla3SIWjwyN6M6v0Xg...
Flume 安装，简单测试
爱笑的博客
02-09 3951
转：http://www.aboutyun.com/thread-8917-1-1.html 解压 tar -zxvf apache-flume-1.7.0-bin.tar.gz 修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 # Enviroment variables can be set here. export JAVA_HOME=/usr/java
【flume】flume案例集锦
九师兄
09-04 970
1.一个单点avro例子配置文件 testAvro.conf#test avro sources a1.sources=r1 a1.channels=c1 a1.sinks=k1a1.sources.r1.type = avro a1.sources.r1.channels=c1 a1.sources.r1.bind=192.168.1.102 a1.sources.r1.port=55555#Us
flume采集数据导入elasticsearch 配置
热门推荐
u012085379的专栏
02-25 1万+
Flume往elasticsearch转发数据的详细配置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值