flume 采集数据到hdfs

前言：在两台机器上做flume 采集数据实验：hadoop05上安装flume 1.5.0版本,hadoop07上安装hadoop2.2.0版本






一、安装
    前提:flume是依赖jdk,所以需要安装jdk,这里就不多说，jdk 安装目录/usr/local/jdk1.6.0_45
    下载安装文件：apache-flume-1.5.0-bin.tar.gz，上传到linux 目录：/usr/local/
解压文件tar -zvxf apache-flume-1.5.0-bin.tar.gz 得到apache-flume-1.5.0-bin ，以下称为FLUME_HOME
二、修改配置文件
    cd apache-flume-1.5.0-bin/conf 下 
    mv flume-env.sh.template flume-env.sh
    vim flume-env.sh 添加jdk 配置：JAVA_HOME=/usr/local/jdk1.6.0_45 保存退出
三、建立配置文件，这个配置文件是flume ：source、channel、sink三大组件的配置，取名为example.conf ，内容如下：
#定义agent名， source、channel、sink的名称
example.sources = r1
example.channels = c1
example.sinks = k1




#具体定义source
example.sources.r1.type = spooldir
example.sources.r1.spoolDir = /home/hadoop/logs




#具体定义channel
example.channels.c1.type = memory
example.channels.c1.capacity = 10000
example.channels.c1.transactionCapacity = 100




#定义拦截器，为消息添加时间戳
example.sources.r1.interceptors = i1
example.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder








#具体定义sink
example.sinks.k1.type = hdfs
example.sinks.k1.hdfs.path = hdfs://hadoop07:9000/flume/%Y%m%d
example.sinks.k1.hdfs.filePrefix = events-
example.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
example.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
example.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
example.sinks.k1.hdfs.rollInterval = 60




#组装source、channel、sink
example.sources.r1.channels = c1
example.sinks.k1.channel = c1
  
jiang
四、拷贝需要hadoop 的jar包，因为是收集数据到hdfs，需要调用到hdfs 客户端接口，所以需要以下几个jar
      在hadoop 解压之后的相对路径：(这里是使用hadoop2.2.0版本)
     --hadoop-2.2.0/share/hadoop
                                                    --common/hadoop-common-2.2.0.jar
                                                    --common/lib/common-configuration-1.6.jar
                                                    --common/lib/hadoop-auth-2.2.0.jar
                                                   --hdfs/hadoop-hdfs-2.2.0.jar
  到${FLUME_HOME}/lib下
五、通知flume 知道hadoop的信息
     要让flume 知道hadoop的配置，所以需要拷贝hadoop 的两个核心配置文件：core-site.xml 和hdfs-site.xml到
   ${FLUME_HOME}/conf下


六、启动hadoop
所有的配置都已经准备好，  启动hadoop07 机器上的hadoop ,根据example.conf 中的配置而定，我这里用的是hadoop07，为了防止错误，建立我们本机的监听目录：
    /home/hadoop/logs，
七、启动flume
     所用的前提已经准备好，此时最后一步，启动flume:
    ${FLUME_HOME}/bin/flume-ng agent -n example -c conf -f conf/exmple.conf -Dflume.root.logger=INFO,console


  擦数说明：agent -n example     代理对象
                       -c conf        配置文件的地址目录      
                      -f  conf/exmple.conf        指制定配置文件
                      -Dflume.root.logger=INFO,console     日志级别为INFO ,打印在控制台上


八、校验
   将拷贝文件     cp /data/flume_test.txt  /home/hadoop/logs 下
   flume 会将其采取，到hdfs 中查看是否有多了一个flume 文件