shell快速迁移海量文件

author：skate
time：2012/03/02

 

同事的写的一个脚本，觉得非常好，实用性很强，精致短小，特记录与此，方便以后查用.

 

业务需求：需要把一个目录下的1000多万个文件迁移到远程机器
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法，

 

具体的shell脚本如下：

#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
    if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
    for b in $a
       do
c=`expr $b + 100000`
    for loop in `sed -n "$b,$c"p $1`
       do
path=`echo $loop | awk -F "/" '{print $1"/"$2"/"$3"/"$4}'`
        mkdir -p $path
       /usr/bin/wget http://172.16.111.163/$loop -P $path
       echo $loop >> $1.log
    done
done
fi

 

 

 

 

-----end----