Hadoop集群——shell自动采集文件到HDFS

1.配置环境变量

在/export/data/logs目录下（目录不存在，则先提前创建该目录）使用vi命令创建
upload2HDFS.sh脚本文件，在编写Shell脚本时，需要设置Java环境变量，即使当前虚拟
机节点已经配置了Java环境变量，这样做是用来提高系统的可靠性，保障运行程序的机器
在没有配置环境变量的情况下依然能够运行脚本。设置Java环境变量后还需要设置Hadoop环境变量，代码如下所示：

#配置java环境
export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#配置Hadoop环境
export HADOOP_HOME=/export/servers/hadoop-2.7.4/
export PATH=${HADOOP_HOME}/bin:${HADOOK_HOME}/sbin:$PATH

2.设置文件目录

#日志文件存放的目录
log_src_dir=/export/data/logs/log/
#待上传文件存放的目录
log_toupload_dir=/export/data/logs/toupload/

这两个目录不存在需创建

3.设置文件上传路径

#设置日期
date1=`date +%Y_%m_%d`
echo "date1:$date1"
#日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/$date1/
#打印环境变量信息
echo "envs: hadoop_home:$HADOOP_HOME"
#读取日志文件的目录,判断是否有需要上传的文件
echo "log_src_dir:"$log_src_dir

4.实现文件上传

ls $log_src_dir | while read fileName
do
    if [[ "$fileName"==access.log.* ]]; then
        date2=`date +%Y_%m_%d_%H_%M_%S`
        echo "date2:$date2"
         #将文件移动到待上传目录并重命名
        echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"_$date2"
        mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date2
       #将待上传的文件path写入一个列表文件wil1Doing.
       echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date2
   fi
done

#找到列表文件willDoing
ls $log_toupload_dir | grep will | grep -v "_COPY_" | grep -v "_DONE_" | while
read line
do
   #打印信息
   echo "toupload is in file: "$line
   #将待上传文件列表willDoing改名为willDoing_COPY_
   mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
   #读列表文件willDoing_COPY_的内容(一个一个的待上传文件名)
   #此处的line就是列表中的一个待上传文件的path
   cat $log_toupload_dir$line"_COPY_" | while read line
   do
      #打印信息
      echo "puting...$line to hdfs path.....$hdfs_root_dir"
      hadoop fs -mkdir -p $hdfs_root_dir
      hadoop fs -put $line $hdfs_root_dir
   done
  mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"
done