flume安装配置与原理

1、flume的安装

1. 下载flume，解压安装
   flume-ng-1.6.0-cdh5.14.0.tar.gz
2. 修改配置文件

cd /opt/software/flume/conf

mv flume-env.sh.template flume-env.sh

vi flume-env.sh

3. 修改如下的内容
   在如下位置加入jdk的路径和给flume分配的内存大小
   

2、flume的简介

1. flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。
2. flume在Hadoop开发中的位置
3. flume的体系架构
   
4. flume的核心组件

• Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）

• Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）

• Source：是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。
  

• Channel：是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到Sink处理完该事件。
  Flume对于Channel，则提供了Memory Channel、JDBC Chanel、File Channel，etc。
  MemoryChanne----可以实现高速的吞吐，但是无法保证数据的完整性。
  MemoryRecoverChannel----在官方文档的建议上已经建义使用FileChannel来替换。
  FileChannel----保证数据的完整性与一致性。在具体配置不现的FileChannel时，建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘，以便提高效率。

• Sink：取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。
  Flume也提供了各种sink的实现，包括HDFS sink、Logger sink、Avro sink、File Roll sink、Null sink、HBase sink，etc。
  Flume Sink在设置存储数据时，可以向文件系统中，数据库中，hadoop中储数据，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。
  

5. 实例：
   ①新建文件夹 /opt/flume-logfile
   ②在flume-logfile新建文件夹test，data，checkpoint
   ③将文件装进test，在data和checkpoint中分别新建文件夹test
   ④新建文件夹 /opt/software/flume/conf/kb11job
   ⑤在kb11job 中新建文件test-flume-logger.conf，编辑如下

test.sources=testSource
test.channels=testChannel
test.sinks=testSink
//source
test.sources.testsSource.type=spooldir
test.sources.testsSource.spoolDir=/opt/flume-logfile/test				//要读取的文件地址
test.sources.testsSource.deserializer=LINE
test.sources.testsSource.deserializer.maxLineLength=32000
test.sources.testsSource.includePattern=test.csv					//文件样式
//channel
test.channels.testChannel.type=file							//channel存储的位置file是磁盘，memory是内存
test.channels.testChannel.checkpointDir=/opt/flume-logfile/checkpoint/test	//checkpoint存储位置
test.channels.testChannel.dataDirs=/opt/flume-logfile/data/test			//数据存储位置
//sink
test.sinks.testSink.type=logger
//source 和 sink 之间的关联
test.sources.testSource.channels=testChannel
test.sinks.testSinks.channel=testChannel
//读取数据
./bin/flume-ng agent --name test --conf ./conf --conf-file ./conf/kb11job/test-flume-logger.conf -Dflume.root.logger=INFO,console