Flume概述

一，什么是Flume？

1，是Apache基金会下的一个分布式、可靠、高可用的日志采集系统

主要用于从不同的数据源（如Web服务器、数据库、应用程序等）中采集大量的数据，并将其传输到Hadoop或其他存储系统中，

主要作用是实现大规模数据采集和传输，实现数据的实时处理和分析，从而为企业提供更好的业务决策支持

二，Flumen框架思维图

三，框架介绍                                                                                                                                （1） Source  ：Source负责接收events或通过特殊机制产生events，并将events批量放到一个或多个Channels。有驱动和轮询2中类型的Source。 驱动型Source：是外部主动发送数据给       Flume，驱动Flume接收数据。 轮询source：是FLume周期性主动去获取数据。

  (2)  channel:  是一种短暂的存储容器,它将从source处接收到的event格式的 数据缓存 起来,直到它们被sinks消费掉,它在source和sink间起着桥梁的作用,channel是一个完整的事务,这一点保证了数据在收发的时候的一致性.                                                                                                      

 (3) Sink:  是数据即将离开flume的最后一个组件，它从channel中取走数据，然后发送到缓存系统或者持久化数据库                                                                                                                     

(4) Agent : Agent是一个Java应用程序，接受并生产数据并缓存数据，直至最终写入到其他      Agent中或者是存储系统中。(Flume中最简单的部署单元是Flume Agent)                              

 四，Flume安装教程                                                                                                                         1，将 flume-ng-1.6.0-cdh5.14.2.tar.gz 文件，上传至local目录。或者在shell窗口内，输入命                令：yum install lrzsz，待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内

 2，输入命令：cd /opt/local、ls，查看是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件        

 3，输入命令：tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C/opt/software/hadoop，将文件解压到 software 下的 hadoop 文件夹里                                                                                               

4，解压完毕后，输入命令：cd /opt/local/hadoop/，进入到 local下的 hadoop 目录下输入命      令：ls，查看该目录下是否存在 flume-ng-1.6.0-cdh5.14.2.tar.gz 这个文件