Flume

Flume的初步理解

Flume是Cloudera提供的一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

知识点插入-----：
-----流式：一条数据一条数据的处理
-----批量：一批数据一批数据的处理
-----离线：数据处理的延迟以小时，天为单位
-----实时：数据处理的延迟以毫秒为单位

Flume基础架构

Agent是一个JVM进程，主要分为三个部分：Source、Channel、Sink。
Source主要负责接收数据，可以处理各种类型、各种格式的日志数据。
Sink负责接收Channel中的事件且批量的删除他们，并将这些事件批量写入到存储或索引系统，或者发送给另一个Agent。
Channel位于Source和Sink中间的缓冲区。Channel允许Source和Sink传输的速度不一致；Channel是线程安全的，可以同时处理几个Source的写入和几个Sink的读取操作。

Channel的类型

Flume自带两种Channel：Memory Channel和File Channel
Memory Channel：是内存中的队列。但是会存在数据丢失的情况，在运行过程中一旦程序死亡、机器宕机或者重启都会导致数据丢失。
File Channel：将所有事件写到磁盘，不会在程序关闭或者机器宕机的情况下发生数据丢失。

Kafka Channel：主要是对接Kafka，使用Kafka Channel可以节省Sink组件也可以提升效率。Kafka的高吞吐量以及可以对数据进行分类也就是不同的topic，方便下一层的使用，可以有效的提高数据的复用减少数据的冗余。

Taildir Source

优点：断电续传、多目录、不会丢失数据
隐患：数据可能重复（情况：Taildir Source使用inode和文件的全路径一起识别同一个文件，所以修改文件名之后如果表达式也能匹配上，会再重新读取一份文件的数据）