参考:http://egon09.blog.51cto.com/9161406/1754317
hive迁移历史数据,按照小时分区,一天24分区。补一年数据。如果不控制并发,linux会卡死,提交到hadoop也会失败。这里控制为20个并发任务。
#!/bin/bash
sys_start_time=`date +%s` #定义脚本运行的开始时间[ -e /tmp/fd1 ] || mkfifo /tmp/fd1 #创建有名管道
exec 3<>/tmp/fd1 #创建文件描述符,以可读(<)可写(>)的方式关联管道文件,这时候文件描述符3就有了有名管道文件的所有特性
rm -rf /tmp/fd1 #关联后的文件描述符拥有管道文件的所有特性,所以这时候管道文件可以删除,我们留下文件描述符来用就可以了
for ((i=1;i<=20;i++))
do
echo >&3 #&3代表引用文件描述符3,这条命令代表往管道里面放入了一个"令牌"
done
start_date="2017-01-03"
stop_date="2017-01-04"
arr=(00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23)
while [[ $start_date < $stop_date ]]
do
for var in ${arr[@]};
do
read -u3 #代表从管道中读取一个令牌
echo "$start_date"
{ # hive -hiveconf partitionDate=${start_date}_$var -f xx.sql>>dlog00.log
sleep 10 #sleep 1用来模仿执行一条命令需要花费的时间(可以用真实命令来代替)
echo 'success'${start_date}_$var
echo >&3 #代表我这一次命令执行到最后,把令牌放回管道
}&
done
start_date=`date -d "+1 day $start_date" +%Y-%m-%d`
done
wait
sys_stop_time=`date +%s` #定义脚本运行的结束时间
echo "TIME:`expr $sys_stop_time - $sys_start_time`"
exec 3<&- #关闭文件描述符的读
exec 3>&- #关闭文件描述符的写
r