定时采集日志信息到hdfs

1 采用crontab运行 crontab -e 进入 crontab -l 查看

#! /bin/bash
#set java env
#直接export 是为了防止ssh远程登录无法找到也可
#source /etc/profile
export JAVA_HOME=/opt/jdk-9.0.4
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH


#set hadoop env
export HADOOP_HOME=/opt/hadoop-2.8.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

#日志文件存放的目录
log_src_dir=/opt/log

#待上传文件存放的目录
log_toupload_dir=/opt/toupload

#判断上面的目录是否存在，若不存在则新建

if [ ! -d "$log_toupload_dir" ]; then
    mkdir $log_toupload_dir
fi

#上传到hdfs的路径
date='date +%Y_%m_%d_%H_%M_%S'
hdfs_root_dir=/data/clickLog/$date

#打印环境变量信息，以确认
echo "envs: hadoop_home :$HADOOP_HOME"

#读取日志文件的目录࿰