Flume个人心得笔记之Channel安装

               Flume个人心得笔记之Channel安装全解

目录

               Flume个人心得笔记之Channel安装全解

一.Memory Channel 

一、概述

二、可配置选项说明

三、示例:

二.File Channel

一、概述

二、可配置选项说明

三、示例

1.复制一份文件

2.编辑配置

4.确保目录产生

5.启动

6.传输数据

7.接收数据

8.查看产生的文件是否传输过来

三.其他Channel

一、JDBC Channel(单连接)

二、内存溢出通道（没正式上线）

---

一.Memory Channel 

一、概述

1. 事件将被存储在内存中（指定大小的队列里）
2. 非常适合那些需要高吞吐量且允许数据丢失的场景下

二、可配置选项说明

配置项	说明
type	memory
capacity	100        事件存储在信道中的最大数量 建议实际工作调节：10万 首先估算出每个event的大小，然后再服务的内存来调节
transactionCapacity	100        每个事务中的最大事件数 建议实际工作调节：1000~3000

三、示例:

一直使用的都是默认这个，就不演示了，   存放在内存中的

https://blog.csdn.net/LiuY521/article/details/94721238

 

二.File Channel

一、概述

1. 将数据临时存储到计算机的磁盘的文件中
2. 性能比较低，但是即使程序出错数据不会丢失

二、可配置选项说明

配置项	说明
type	file
dataDirs	指定存放的目录，逗号分隔的目录列表，用以存放日志文件。使用单独的磁盘上的多个目录可以提高文件通道效率。

三、示例

1.复制一份文件

mv basic1.conf filechannel.conf

2.编辑配置

4.确保目录产生

5.启动

6.传输数据

7.接收数据

8.查看产生的文件是否传输过来

三.其他Channel

一、JDBC Channel(单连接)

1. 事件会被持久化（存储）到可靠的数据库里
2. 目前只支持嵌入式Derby数据库。但是Derby数据库不太好用，所以JDBC Channel目前仅用于测试，不能用于生产环境。

二、内存溢出通道（没正式上线）

1. 优先把Event存到内存中，如果存不下，在溢出到文件中
2. 目前处于测试阶段，还未能用于生产环境