flume01简介及安装部署

01.flume简介及安装部署

1.flume官网

1.http://flume.apache.org/

2.flume下载

1.注意下载的时候要和cdh大版本一致
2.网址http://archive.cloudera.com/cdh5/cdh/5/

3.flume功能

1.flume是一个分布式的、可靠的、可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务；
2.flume用一个简单的扩展数据模型用于在线实时应用分析，flume的简单表现在：写个source、channel、sink之后一条命了就能操作成功；
3.Flume、kafka实时进行数据收集，spark、storm实时处理数据，impala实时查询。

4.flume特点

1.实时的数据流采集框架
    1.数据采集
        1.从哪采集：数据源
        2.采集到哪去：目标

5.flume-ng中数据传递的过程

0.agnet

1.作用

将数据从数据源写到目的地

2.组成

1.source
    source用于采集数据，source是产生数据流的地方，同时source会将产生的数据传输到channel；
2.channel
    连接source和sink，这个有点像一个队列，source将数据放到channel中然后sink从source中取数据放到目的地；
3.sink
    从channel收集数据，将数据写到目标源，目标源可以是下一个source或hdfs或者hbase

6.安装过程

0.flume没有进程，只有agent就和java程序只要运行就有一个agent
1.下载解压
    tar -zxvf flume_path.tar.gz -C flume_path
    flume的lib目录下存有flume提供的第三方jar包
2.修改配置
    修改flume-env.sh文件：
        1.jdk
            export JAVA_HOME=/opt/modules/jdk1.7.0_67
        2.hadoop_home（如果配置了全局的hadoop_home则不需要配置）
            1.先读配置文件
            2.先从全局环境变量找hadoop_home
            3.找agent文件
            4.额外：
                1.当flume往hdfs上写数据的时候需要调用往hdfs上写相关的hadoopjar包（当一个框架向另一个框架写数据时，需要调用往另一个框架上写的客户端，此客户端就是我们需要调用的jar包）因此需要通过hadoop_home去找和hadoop相关的jar包，如果1，2种没有配置hadoop_home则需要将和hadoop相关的jar包导入到flume的lib中，需要导入的jar包（这些jar包在hadoop的share目录下）如下：
                    1.hadoop-common-2.6.0-cdh5.7.6.jar
                    2.hadoop-hdfs-2.6.0-cdh5.7.6.jar
                    3.hadoop-auth-2.6.0-cdh5.7.6.jar
                    4.commons-configuration-1.6.jar
                2.如果没有配全局环境变量，如何找到hdfs的地址
                    1.将hdfs-site和core-site放入flume的conf目录（适用于hdfs做了HA，注意只要hdfs做了HA当其他框架集成hdfs时都需要将hdfs-site和core-site文件放到其他框架的配置中）
                    2.直接在agent中指定hdfs的地址
3.测试
    flume命令格式：bin/flume-ng <command> [options]...
    demo:
        flume运行的命令
        bin/flume-ng agent -c flume-conf-path -n agent-name -f agent-conf-path -Dflume.root.logger=INFO,console
        --conf/-c：用于指定flume配置文件的目录
        --name/-n：用于指定agent的名称
        --conf-file/-f：用于指定agent文件的地址
        --Dflume.root.logger=INFO,console：定flume日志输出级别（INFO），以及输出地（console－控制台）