Shell实时监控目录并将数据修改格式

工作需求是将指定目录下的文件，进行格式修改，然后将其cp到指定的flume的目录，但是由于权限问题，不能直接修改源文件，所以将数据cp到临时目录进行修改，

这里将源脚本进行了阉割，大部分参数都没有指定，主要是通过

find $source_pass_path$datedaydir/ -name "$1*.json" -newermt "$b_time" ! -newermt "$c_time" | xargs -i cp {} $target_root_path$1/

 这段代码查找指定的文件，其中c_time为当前时间，然后会查找b_time到c_time之内的时间所生成的文件，将其cp到指定目录，前面的b_time是由一个文件不断刷新时间得来的，然后此脚本建议是后台多线程运行，然后通过更新time.txt文件来进行b_time时间的更新。

#!/bin/bash


process_pass_data(){
# 每次启动的时候指定当前时间为开始时间，写入time.txt
time=`date +"%Y-%m-%d %H:%M:%S"`
time_path="/home/mjxt/shell/"
time_name="time$1.txt"
if [ -f $time_path$time_name ];then
    b_time=`head -n 1 $time_path$time_name`
else
    touch $time_path$time_name
cat > /home/mjxt/shell/time$1.txt << EOF
${time}
EOF
b_time=`head -n 1 $time_path$time_name`
fi

while true
do
datedir=`date -d "0 min ago" +"%Y%m%d%H"`
datedaydir=${datedir:0:8}
datehourdir=${datedir:8:9}
c_time=`date +"%Y-%m-%d %H:%M:%S"`
find $source_pass_path$datedaydir/ -name "$1*.json" -newermt "$b_time" ! -newermt "$c_time" | xargs -i cp {} $target_root_path$1/
    sed -i ':a;N;$!ba;s/\n/ /g' $target_root_path$1/*
    sed -i 's/ //g' $target_root_path$1/*
    sed -i 's/}{/}\n{/g' $target_root_path$1/*
    mv $target_root_path$1/* $flume_folder$1/
b_time=$c_time
echo $b_time > $time_path$time_name
sleep 1
done
}


process_pass_data 01&
process_pass_data 02&

通过这restart.sh 来重启上面的real.sh脚本，不过这个是需要一直开着线程的，根据需求考虑使用。

#!/bin/bash
restart(){
process=`ps -ef|grep real.sh |grep -v grep|grep -v PPID|awk '{print $2}'`
  for i in $process
  do
    echo "kill the process [$i]"
    kill -9 $i
  done

cd /home/mjxt/shell/
./real.sh >/dev/null 2>&1 &

}
restart