Shell定时采集数据到HDFS

目录结构

logs里面两个文件夹，
- - -log日志文件存放的目录
- - -toupload待上传文件存放的目录
- - -upload2HDFS.sh 脚本

目的：将log里面的access.log.*的文件上传到HDFS，即log里面必须有符合的文件，即：

执行步骤

1. 配置环境变量 （java 和 hadoop 的环境变量配置）
2. 准备日志存放目录和待上传文件
3. 设置日志文件上传的路径
4. 实现文件的上传

#!/bin/bash

#配置java环境

export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}


#配置hadoop环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4/
export PATH=:${HADOOP_HOME}/bin:$HADOOP_HOME/sbin:$PATH

#日志文件存放的目录
log_src_dir=/export/data/logs/log/

#待上传文件存放的目录
log_toupload_dir=/export/data/logs/toupload/

#设置日期
date1=`date -d last-day +%Y_%m_%d`
#日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/$date1/
#打印环境变量信息
echo "envs: hadoop_home: $HADOOP_HOME"
#读取日志文件的目录，判断是否有需要上传的文件
echo "log_src_dir:"$log_src_dir


#读取日志文件的目录，判断是否有需要上传的文件

ls $log_src_dir | while read fileName
do
    if [[ "$fileName" == access.log.* ]]; then
        date=`date +%Y_%m_%d_%H_%M_%S`
        #将文件移动到待上传目录并重命名
        #打印信息
        echo "moving $log_src_dir$fileName to
                $log_toupload_dir"xxxxx_click_log_$fileName"$date"
        mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
        #将待上传的文件path写入一个列表文件willDoing
        echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
    fi
done






#找到列表文件willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
    #打印信息
    echo "toupload is in file:"$line
    #将待上传文件列表willDoing改名为willDoing_COPY_
    mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
    #读列表文件willDoing_COPY_的内容（一个一个的待上传文件名）  ,此处的line 就是列表中的一个待上传文件的path
    cat $log_toupload_dir$line"_COPY_" |while read line
    do
        #打印信息
        echo "puting...$line to hdfs path.....$hdfs_root_dir"
        hadoop fs -mkdir -p $hdfs_root_dir
        hadoop fs -put $line $hdfs_root_dir
    done
    mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done

执行并查看结果

sh upload2HDFS.sh 

你可以看到有对应的文件生成

HDFS 有上传的文件