flume配置-生产环境下 Taildir Source to kafka Sink

原创 2017年01月03日 12:07:13

生产环境下用flume搜集后端系统产产生的日志,并写入kafka集群,可以参照下面配置。

clog.sources = source_log
clog.channels = channel_log
clog.sinks = sink_log1 sink_log2 sink_log3 

clog.sources.source_log.type = TAILDIR
clog.sources.source_log.filegroups =  = f1
#####正则匹配文件路径###### 
clog.sources.source_log.filegroups.f1 = /home/data/log/.*.log 
clog.sources.source_log.skipToEnd = True
clog.sources.source_log.positionFile = /home/data/taildir_position.json	 
clog.sources.source_log.batchSize = 1000
clog.sources.source_log.channels = channel_log

clog.sinks.sink_log1.type = org.apache.flume.sink.kafka.KafkaSink
clog.sinks.sink_log1.kafka.topic = haproxy
clog.sinks.sink_log1.kafka.bootstrap.servers = kafka1:9001,kafka2:9001,kafka3:9001
clog.sinks.sink_log1.flumeBatchSize = 2000
clog.sinks.sink_log1.kafka.producer.acks = 1
clog.sinks.sink_log1.channel = channel_log

clog.sinks.sink_log2.type = org.apache.flume.sink.kafka.KafkaSink
clog.sinks.sink_log2.kafka.topic = haproxy
clog.sinks.sink_log2.kafka.bootstrap.servers = kafka1:9001,kafka2:9001,kafka3:9001
clog.sinks.sink_log2.flumeBatchSize = 2000
clog.sinks.sink_log2.kafka.producer.acks = 1
clog.sinks.sink_log2.channel = channel_log


clog.sinks.sink_log3.type = org.apache.flume.sink.kafka.KafkaSink
clog.sinks.sink_log3.kafka.topic = haproxy
clog.sinks.sink_log3.kafka.bootstrap.servers = kafka1:9001,kafka2:9001,kafka3:9001
clog.sinks.sink_log3.flumeBatchSize = 2000
clog.sinks.sink_log3.kafka.producer.acks = 1
clog.sinks.sink_log3.channel = channel_log


clog.channels.channel_log.type = memory
clog.channels.channel_log.capacity = 100000
clog.channels.channel_log.transactionCapacity = 10000


版权声明:本文为博主原创文章,转载务必注明出处,否则追求法律责任

Flume1.7.0的TaildirSource介绍

使用更改后的TaildirSource,可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录,会监听该目录下所有的文件,但是如果配置目录下...
  • yeruby
  • yeruby
  • 2016年07月02日 21:39
  • 6974

flume1.7.0-taildirSource 支持多文件监控和断点续传

flume 1.7.0 推出了 taildirSource 组件。tail 监控 目录下匹配上正则表达式的 的所有文件,实现断点续传。问题但是官方的 taildirSource 组件貌似是支持ngin...

Flume中的TaildirSource

原文链接:http://lxw1234.com/archives/2015/10/524.htm 也可以参考官网地址:http://flume.apache.org/FlumeUserGuide.h...

Flume TailDir 基本流程

taildir 工作流程

flume1.7 TailDirSource断点续传与文件更名后数据重复采集的bug修复

简介      flume1.7新增了组件Taildir Source(详情参见官方链接:http://flume.apache.org/FlumeUserGuide.html#taildir-sou...

对flume1.6改造,添加Taildir功能

使用更改后的TaildirSource,可以递归地监听配置目录的动态变化的文件。 需求描述 使用了SpoolDirectorySource可以配置一个监听目录,会监听该目录下所有的文件,但是如...

玩转flume+Kafka配置

一、FLUME介绍 Flume是一个分布式、可靠、和 高可用 的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方...

解决 flume KafkaSink 启动后cpu占用100%的问题

工作中遇到的问题。
  • n01boy
  • n01boy
  • 2016年06月21日 13:09
  • 1089

kafka接入学习

什么是kafka? Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键...

flume kafka-sink high cpu

flume sink到kfka时候,导致cpu过高,以下是分析原因: 一、flume的kafka的sink cpu太高分析: 1、获取flume的进程id [root@datanode conf...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume配置-生产环境下 Taildir Source to kafka Sink
举报原因:
原因补充:

(最多只允许输入30个字)