Flume在数据清洗上的作用

一、首先简单了解Flume是什么？

1. Flume（日志收集系统）的定义

Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统。即是日志采集和汇总的工具。

2. Flume的特点
　flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

1）flume的可靠性
　　　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Besteffort（数据发送到接收方后，不会进行确认）。

2）flume的可恢复性
　　　　还是靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里(性能较差)。

2. Flume的优势
1.Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase；
2. 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力，这时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据；
3. 提供上下文路由特征；
4. Flume的管道是基于事务，保证了数据在传送和接收时的一致性；
5. Flume是可靠的，容错性高的，可升级的，易管理的,并且可定制的。

3. Flume的三大组件
Source(数据源):

从数据发生器接收数据,并将接收的数据以Flume的event(数据)格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式。

Channel(数据缓存区):

channel是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着桥梁的作用,channel是一个完整的事务,这一点保证了数据在收发的时候的一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memory channel等。

sink(数据输出位置):

sink将数据存储到集中存储器比如Hbase和HDFS,它从channels消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase。

二、Flume的安装与学习

1. Flume的安装与配置

cd  /usr/local # 进入安装目录
wget    wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz  # 在线下载flume
tar -xvf apache-flume-1.9.0-bin.tar.gz  # 进行相关解压
cd   /usr/local/apache-flume-1.9.0-bin/bin # 安装完毕进入目录
./flume-ng version # 进行版本测试
vi /etc/profile # 进行环境变量配置
source /etc/profile # 刷新环境变量
cd ~ # 进入到~目录
flume-ng version # 进行环境变量验证 出现版本号说明配置成功

2. 下面是使用flume的案例

案例博客