flume二：flume Channel介绍

最新推荐文章于 2023-05-26 20:02:01 发布

琳琳庚主LoveU

最新推荐文章于 2023-05-26 20:02:01 发布

阅读量623

点赞数

分类专栏： fiume

本文链接：https://blog.csdn.net/licw_0909/article/details/53729891

版权

本文介绍了Flume的几种内置Channel类型，包括Memory Channel、JDBC Channel、Kafka Channel、File Channel以及Spillable Memory Channel。详细配置参数如内存容量、事务容量、数据存储位置等被提及，并指出可以通过继承Channel接口创建自定义Channel。

摘要由CSDN通过智能技术生成

flume默认提供了以下channel：
Memory Channel：
a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 800000

JDBC Channel：
a1.channels = c1
a1.channels.c1.type = jdbc

Kafka Channel：
a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer

File Channel：
a1.channels = c1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
a1.ch