Flume

日志在tomcat服务器上 /data/access.log
自己开发采集工具
涉及读数据、缓存、写数据

一、Flume 概述：
1、是一种分布式，可靠和可用的服务，用于高效收集，聚合和移动大量日志数据。
2、它具有基于流数据流的简单灵活的架构。
3、它具有可靠的可靠性机制和许多故障转移和恢复机制的强大和容错能力。
4、它使用一个简单的可扩展数据模型，允许在线分析应用程序
5、单个文件不超过两G
6、用于实时收集服务器（apache/ngnix 等）日志数据的框架，很多时候和 storm 以及 spark streaming 等流式处理框架结合使用。

Agent：
1、具有字节有效载荷和可选的一组字符串属性的数据流的单元。
2、 Flume 代理(Agent)是一个（JVM）进程，它承载事件从外部源传递到下一个目标（跳）的组件。
3、 是 Flume 数据传输的基本单元，以事件的形式将数据从源头送至目的地。
4、 Agent 就是一个 java 进程，Agent 主要有 3 个部分组成，Source、Channel、Sink。

二、角色介绍：
1、Source
source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy
2、Channel
source 组件把数据收集来以后，临时存放在 channel 中，即 channel 组件在 agent 中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在 memory、jdbc、file 等等。
3、Sink
sink 组件是用于把数据发送到目的地的组件，目的地包括 hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。
4、Event
传输单元，Flume 数据传输的基本单元，以事件的形式将数据从源头送至目的地

三、快速入门
Flume 安装地址：
Flume 官网地址：http://flume.apache.org/
文档查看地址：http://flume.apache.org/FlumeUserGuide.html
下载地址：http://archive.apache.org/dist/flume/

安装：
1）将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下
2）解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下
[liar@hadoop102 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3）修改 apache-flume-1.7.0-bin 的名称为 flume
[liar@hadoop102 module]$ mv apache-flume-1.7.0-bin flume
4） 将 flume/conf 下 的 flume-env.sh.template 文 件 修 改 为 flume-env.sh， 并 配 置
flume-env.sh 文件
[liar@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[liar@hadoop102 conf]$ vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5）如果使用flume前需先安装：
yum install telnet-server
yum install telnet.*
查询xinetd的状态：
[root@localhost ~]# service xinetd status
xinetd (pid 2967) 正在运行…
启动
service xinetd start
连接：
telnet ip 端口
四、案例实操

配置：
1、文件大小
2、时间
3、event数量

数据不丢失：
1、备用channel
2、维护偏移量
3、事物