flume配置文件

最新推荐文章于 2024-04-02 23:15:55 发布
最新推荐文章于 2024-04-02 23:15:55 发布
阅读量721 收藏
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HM_RQ/article/details/85053523
版权

1.Sink-ES

#------agent-----
agent.sources=agentSource
agent.channels=agentChannel
agent.sinks=agentSink

#-------- agentSource-----------
agent.sources.agentSource.type=org.apache.flume.source.kafka.KafkaSource
agent.sources.agentSource.zookeeperConnect=IP:2181
agent.sources.agentSource.topic=TopicName
agent.sources.agentSource.groupId=Flume
agent.sources.agentSource.batchSize=1000
agent.sources.agentSource.kafka.consumer.timeout.ms=3000

#------- agentChannel-----------
agent.channels.agentChannel.type=file
agent.channels.agentChannel.checkpointDir=/mnt/data/flume/checkpoint
agent.channels.agentChannel.dataDirs=/mnt/data/flume
agent.channels.agentChannel.capacity=100000
agent.channels.agentChannel.transactionCapacity= 1000
agent.channels.agentChannel.keep-alive=100
agent.sources.agentSource.channels=agentChannel
agent.sinks.agentSink.channel=agentChannel

#---------agentSink ------------
agent.sinks.agentSink.type=elasticsearch
agent.sinks.agentSink.hostNames=hostIp:12300
agent.sinks.agentSink.clusterName=es
agent.sinks.agentSink.indexName=indexName
agent.sinks.agentSink.indexType=indexType
agent.sinks.agentSink.idName=ID
agent.sinks.agentSink.batchSize=1000

 

2.Sink-HBase

#------agent-----
agent.sources=agentSource
agent.channels=agentChannel
agent.sinks=agentSink

#-------- agentSource-----------
agent.sources.agentSource.type=org.apache.flume.source.kafka.KafkaSource
agent.sources.agentSource.zookeeperConnect=IP:2181
agent.sources.agentSource.topic=TopicName
agent.sources.agentSource.groupId=Flume
agent.sources.agentSource.batchSize=1000
agent.sources.agentSource.kafka.consumer.timeout.ms=3000

#------- agentChannel-----------
agent.channels.agentChannel.type=file
agent.channels.agentChannel.checkpointDir=/mnt/data/flume/checkpoint
agent.channels.agentChannel.dataDirs=/mnt/data/flume
agent.channels.agentChannel.capacity=100000
agent.channels.agentChannel.transactionCapacity= 1000
agent.channels.agentChannel.keep-alive=100
agent.sources.agentSource.channels=agentChannel
agent.sinks.agentSink.channel=agentChannel

#---------agentSink-------------------
agent.sinks.agentSink.type=hbase
agent.sinks.agentSink.zookeeperQuorum=ip:2181
agent.sinks.agentSink.table=tableName
agent.sinks.agentSink.tableType=table
agent.sinks.agentSink.columnFamily=d
agent.sinks.agentSink.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
agent.sinks.agentSink.serializer.colNames=RowKey
agent.sinks.agentSink.serializer.rowKeyIndex=0
agent.sinks.agentSink.batchSize=1000

3.Sink-HDFS

#------agent-----
agent.sources=agentSource
agent.channels=agentChannel
agent.sinks=agentSink

#-------- agentSource-----------
agent.sources.agentSource.type=org.apache.flume.source.kafka.KafkaSource
agent.sources.agentSource.zookeeperConnect=IP:2181
agent.sources.agentSource.topic=TopicName
agent.sources.agentSource.groupId=Flume
agent.sources.agentSource.batchSize=1000
agent.sources.agentSource.kafka.consumer.timeout.ms=3000

#------- agentChannel-----------
agent.channels.agentChannel.type=file
agent.channels.agentChannel.checkpointDir=/mnt/data/flume/checkpoint
agent.channels.agentChannel.dataDirs=/mnt/data/flume
agent.channels.agentChannel.capacity=100000
agent.channels.agentChannel.transactionCapacity= 1000
agent.channels.agentChannel.keep-alive=100
agent.sources.agentSource.channels=agentChannel
agent.sinks.agentSink.channel=agentChannel

#---------agentSink------------------
agent.sinks.agentSink.type=hdfs
agent.sinks.agentSink.hdfs.path =/data/flume/partitionday=%Y%m%d/partitionhour=%Y%m%d%H
agent.sinks.agentSink.hdfs.filePrefix=fileName_%Y%m%d%H
agent.sinks.agentSink.hdfs.timeZone=Asia/Shanghai
agent.sinks.agentSink.hdfs.fileType=DataStream
agent.sinks.agentSink.hdfs.batchSize=1000
agent.sinks.agentSink.hdfs.rollCount=0
agent.sinks.agentSink.hdfs.rollInterval=600
agent.sinks.agentSink.hdfs.rollSize=134217728
agent.sinks.agentSink.hdfs.callTimeout=7200000

 

九万里_w
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【flume 配置详解】
scott_bing的专栏
04-24 2674
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
flume安装与配置
weixin_53898747的博客
03-10 1873
flume安装与配置
Flume 配置文件编写技巧（包会的，抄就完了）
最新发布
JIE的博客 --- moon_coder
04-02 1441
如果你在编写 Flume 配置文件时，分不清。
Flume配置文件详解
香蕉牛奶棒棒槌的博客
10-29 2649
Flume配置文件详解 1.基本组成 (1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。 1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。 配置方式如下： xxx.sources = r1 定义一个名为r1的source xxx.channels = c1
Flume配置文件（跟踪文件夹）
Struggle99的博客
10-17 768
1.将flume-1.6.0 压缩包上传到apps目录下 2.在apps目录下解压压缩包 tar -zxvf apache-flume-1.6.0-bin.tar.gz 解压完成 3.在 /apps/apahce-flume-1.6.0-bin/conf目录下对flume进行配置 配置文件内容（dir-hdfs.conf）： ````在这里插入代码片` pooldir：flume中自带的读取...
flume配置文件案例
09-27
flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。
flume配置文件demo
11-06
本示例中的 "flume配置文件demo" 提供了一些基础的 Flume 配置文件，用于展示其基本工作原理和配置方法。 Flume 的配置文件通常以 `.conf` 结尾，如 `flume-conf.conf`。这些配置文件使用基于 Java 属性的格式，...
Flume配置文件kafkaSource
08-07
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
07-27
配置Flume涉及到编辑Flume配置文件，这是一个基于Java的Properties格式的文本文件。在案例一中，我们看到一个简单的配置示例，用于监听特定端口（如44444）并把接收到的数据打印到控制台。以下是对配置文件中各个...
Flume配置文件kafkaSource Interceptor
08-07
Flume配置文件kafkaSource Interceptor，包含获取数据中的关键词时间日期等信息
flume系列之：python读取flume配置文件，并把配置写入到zookeeper节点，再根据写入到zookeeper中的配置启动flume agent
zhengzaifeidelushang的博客
04-18 1562
flume系列之：python读取flume配置文件，并把配置写入到zookeeper节点 更多相关内容请参考博主下面几篇技术博客： flume系列之：flume配置写入zookeeper节点，根据zookeeper中flume配置启动flume agent Zookeeper入门之三：客户端命令行操作详解 python系列之：kazoo连接Zookeeper操作Zookeeper Zookeeper系列之：读取配置文件把配置写入zookeeper节点，查看zookeeper节点数据 ......
flume系列之：hdfs.timeZone设置中国北京或上海时区
zhengzaifeidelushang的博客
12-23 2535
flume：hdfs.timeZone设置中国北京或上海时区查看服务器时间flume设置中国时区 查看服务器时间 date 2021年 12月 23日 星期四 10:09:49 CST hdfs.timeZone设置中国北京或上海时区后，生成的路径时间与服务器时间保持一致。 /optics/raw/kafka/debezium-optics-prod/optics-prod/order/1h/20211223/10/optics-flumedata.1640224834375.gz flume设置中国
flume 三大核心组件
wjl7813的博客
03-25 5615
http://archive.cloudera.com/cdh5/cdh/5/ flume 下载地址http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html 官方相关文档http://flume.apache.org/FlumeUserGuide.htmlhttp://flume.apach...
flume properties配置文件详解
Rick的修仙路
10-16 4012
Properties 配置文件基础的netcata.sources=r1 //数据来源，可以多个，中间用空格分隔 a.channels=c1 //传输管道，一般只有一个，可以多个 a.sinks=k1 //数据沉淀，可以多个，中间用空格分隔 a.sources.r1.type=netcat //数据来源类型是输入 a.sources.r1.bind=m
Flume的三大核心组件
简单随风的博客
07-20 7388
Flume的三大核心组件: Source:数据源 Channel:临时存储数据的管道 Sink:目的地 接下来具体看一下这三大核心组件都是干什么的 Source Source: 数据源:通过source组件可以指定让Flume读取哪里的数据，然后将数据传递给后面的 channel Flume内置支持读取很多种数据源，基于文件、基于目录、基于TCP\UDP端口、基于HTTP、Kafka的 等等、当然了，如果这里面没有你喜欢的，他也是支持自定义的 在这我们挑几个常用的看一下: Exec Source:
flume采集数据到kafka和hive
磊的博客
06-20 6628
flume加载数据hive sink；kafka sink
Flume概述 && 三大核心组件的介绍及使用示例 && 常用模式 && 简单搭建 && 两个简单例子的配置文件
曹利荣的博客
03-28 1202
1、Flume概述 1、Flume介绍: 是一个用于收集海量日志数据的分布式框架，但不局限于日志数据。 它既可以处理离线数据，也可以处理实时数据。 问题：shell命令也可以将数据导入集群中，为什么不用呢？ shell命令方式存在存储格式、压缩、容错等不便性 常用场景 flume->HDFS->batch flume->kafka-&...
flume+kafka
xhz1235813的博客
04-24 97
agent.sources = s1                                                                                                                  agent.channels = c1                                                 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值