Flume Channels官网剖析(博主推荐）

 

 

不多说，直接上干货！

 

Flume Sources官网剖析(博主推荐）

 

 

 

一切来源于flume官网

http://flume.apache.org/FlumeUserGuide.html

 

 

 

 

 

Flume Channels

• Memory Channel
• JDBC Channel
• Kafka Channel
• File Channel
• Spillable Memory Channel
• Pseudo Transaction Channel
• Custom Channel

 

 

 

 

 

Memory Channel

 

 

 

 

 

 

 

 

 

 

 

JDBC Channel

 

 

 

 

 

 

 

 

 

 

Kafka Channel

 

 　　这里，官网还提供了Security and Kafka Channel、TLS and Kafka Channel、Kerberos and Kafka Channel，自己去看吧

 

 

 

 

 

 

 

File Channel（常用）

 

 

 

 

 官网提供给我们的参考例子是

a1.channels = c1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /mnt/flume/checkpoint
a1.channels.c1.dataDirs = /mnt/flume/data

 

 

 

 我们一般是如下

agent1.channels = ch1



# Configure channel
agent1.channels.ch1.type = file
agent1.channels.ch1.checkpointDir = /home/hadoop/data/flume/checkpointDir
agent1.channels.ch1.dataDirs = /home/hadoop/data/flume/dataDirs

 

 

 

 

 

 

 

 

 

 

Spillable Memory Channel

 

 

 

 

 

 

 

Pseudo Transaction Channel

 

 

 

 

 

 

 

 

 

 

 

 

Custom Channel

 

 

 大家自己去看，罗列出来，是让大家，不要局限于博客本身，眼光要放宽和多看官网，一切来源于官网。

  对于大数据无论是各种开源项目，看官网是学习的最好办法，再加上他人的中文博客。不要觉得英文恐惧，专业英语也就那样！变成高手和大牛，加油吧，zhouls!