由于工作原因，要管理一些图片服务器，其中有几台是作为图片存放的机器，每台机器配有10T的硬盘，最近硬盘告急，都只剩下几百个G，所以要删除一些图片。

目前服务器有一亿多个文件，删过这种大量的小碎文件的朋友一定知道使用rm -rf的下场，效果非常的差，基本上看不到什么效果。通过find命令带delete的效果也不太好，后来使用了rsync将空目录同步过去的方式，效果比较好，一天大概能清理出400G的空间。

为了保证并发的效果，写了脚本充当守护进程

 

 
  
  1. #!/bin/sh 
  2. #./delete.sh get_dir_path_cmd rsync_delete_cmd_process_total_count 
  3. #./delete.sh "find /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/*  -maxdepth 0"   20    
  4.  
  5. rsync_path=rsync 
  6. empty_dir=/tmp/empty/ 
  7.  
  8. get_rsync_process_num() 
  9. { 
  10.  
  11.     echo  $(ps -ef | grep rsync | grep delete | wc -l); 
  12. } 
  13.  
  14. #$1 is rsync cmd , $2 is rsync total process num 
  15. do_rsync_cmd() 
  16. { 
  17.     while test 1 = 1  
  18.     do 
  19.         if test  $(get_rsync_process_num) -lt $2  
  20.         then 
  21.             ($1 >/dev/null 2>&1 &); 
  22.             break; 
  23.         else 
  24.             sleep 100; 
  25.         fi  
  26.     done  
  27.      
  28. } 
  29. if ! ( $rsync_path --version > /dev/null 2>&1 )  
  30. then 
  31.     echo rsync path error; 
  32.     exit 1;  
  33. fi 
  34.  
  35. if ! ls -l $empty_dir  > /dev/null 2>&1 
  36. then 
  37.     if ! mkdir -p $empty_dir >/dev/null 2>&1 
  38.     then 
  39.         echo Permission Denied, make sure you have permission to mkdir -p /tmp/empty ;     
  40.         exit 3; 
  41.     fi 
  42. fi 
  43.  
  44. if ! test $( ls -la $empty_dir | wc -l) = 3 
  45. then 
  46.     echo  Directoty \"$empty_dir\" is not empty, empty directory? ; 
  47.  
  48.     printf "Enter (Y/N):"; 
  49.     read action < /dev/tty; 
  50.  
  51.     if test $action = "Y" || test $action = 'y' 
  52.     then 
  53.         if ! rm -rf ${empth_dir}/* >/dev/null 2>&1  
  54.         then 
  55.             echo Permission Denied, make sure you have permission to rm -rf $empty_dir; 
  56.             exit 3; 
  57.         fi  
  58.     else 
  59.         echo error, Directoty \"$empty_dir\" is not empty; 
  60.         exit 2; 
  61.     fi  
  62.  
  63. fi 
  64.  
  65.  
  66. dir=$($1); 
  67. #rsync --delete-before -a -H  /tmp/empty/   /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/ff/  >/dev/null & 
  68. for i in $dir 
  69. do 
  70.     sleep 5; 
  71.     cmd="$rsync_path --delete-before -a -H $empty_dir ${i}/" ; 
  72.     (do_rsync_cmd "$cmd" $2); 
  73. done 
 
  
调用方式：
 
  
./delete.sh "find /data1/sinawapcms/htdocs/p_w_picpaths/iask/2012/08/*  -maxdepth 0"   20  第一个参数用来获取我们要清空的目录 第二个参数限定并发数，防止服务器负载过高