消费flume的数据无法上传到HDFS

问题：打开hadoop102:9870发现没有出现flume的数据

检查采集flume这部分，在kafka里可以读取到数据，说明是消费flume这部分出错，检查日志信息。

使用消费flume启动停止脚本，可以看到日志信息是在 /opt/module/flume/log2.txt 这个位置的。

#! /bin/bash

case $1 in
"start"){
        for i in hadoop104
        do
                echo " --------启动 $i 消费flume-------"
                ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log2.txt   2>&1 &"
        done
};;
"stop"){
        for i in hadoop104
        do
                echo " --------停止 $i 消费flume-------"
                ssh $i "ps -ef | grep kafka-flume-hdfs | grep -v grep |awk '{print \$2}' | xargs -n1 kill"
        done

};;
esac

打开log2.txt，报错内容是无法使用lzop的压缩方式，参考flume 写入hdfs 采用lzo格式压缩，出现压缩格式支持错误_Always_Best_Sign_X的博客-CSDN博客_flume hdfs 压缩文件

 这篇文章第二步我没找到那个包，直接去 mvnrepository 下载已经编译好的jar包，hadoop-lzo-0.4.20.jar

在第二步里common如果没有那个包，把下载好的放进去，不然影响后续lzop的使用