linux下快速删除目录下大量小文件及快速复制大量小文件方法

一：linux下快速删除目录下大量（数量级）小文件的方法：

假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件

像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf *可能就不好使了。 
rsync提供了一些跟删除相关的参数 
rsync --help | grep delete 
     --del                   an alias for --delete-during 
     --delete                delete files that don't exist on the sending side 
     --delete-before         receiver deletes before transfer (default) 
     --delete-during         receiver deletes during transfer, not before 
     --delete-after          receiver deletes after transfer, not before 
     --delete-excluded       also delete excluded files on the receiving side 
     --ignore-errors         delete even if there are I/O errors 
     --max-delete=NUM        don't delete more than NUM files 
其中--delete-before    接收者在传输之前进行删除操作 
可以用来清空目录或文件，如下： 
  1、建立一个空目录

        mkdir -p /tmp/rsync_blank

    2、确立需要清空的目标目录

        /data/ooxx

    3、使用rsync同步删除（注意目录后面的“/”），整体效率会快一个数量级的样子。

        rsync --delete-before -a -H -v --progress --stats /tmp/rsync_blank/ /data/ooxx/

    选项说明：

    –delete-before 接收者在传输之前进行删除操作

    –progress 在传输时显示传输过程

    -a 归档模式，表示以递归方式传输文件，并保持所有文件属性

    -H 保持硬连接的文件

    -v 详细输出模式

    -stats 给出某些文件的传输状态 

 

    一般我们不需要显示进度，使用以下命令即可

        rsync --delete-before -a -H /tmp/rsync_blank/ /data/ooxx/

　　这样我们要删除的 cache目录就会被清空了。

二、如何删除特别大的文件（数量级），比如nohup.out这样的实时更新的文件，动辄都是几十个G上百G的，也可 
以用rsync来清空大文件，而且效率比较高 
1、创建空文件 
touch /data/blank.txt 
2、用rsync清空文件 
rsync -a --delete-before --progress --stats /root/blank.txt /root/nohup.out 
building file list ... 
1 file to consider 
blank.txt 
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1) 
Number of files: 1 
Number of files transferred: 1 
Total file size: 0 bytes 
Total transferred file size: 0 bytes 
Literal data: 0 bytes 
Matched data: 0 bytes 
File list size: 27 
File list generation time: 0.006 seconds 
File list transfer time: 0.000 seconds 
Total bytes sent: 73 
Total bytes received: 31 
sent 73 bytes  received 31 bytes  208.00 bytes/sec 
total size is 0  speedup is 0.00 
tips： 
当SRC和DEST文件性质不一致时将会报错 
当SRC和DEST性质都为文件【f】时，意思是清空文件内容而不是删除文件 
当SRC和DEST性质都为目录【d】时，意思是删除该目录下的所有文件，使其变为空目录 
最重要的是，它的处理速度相当快，处理几个G的文件也就是秒级的事 
最核心的内容是：rsync实际上用的就是替换原理

三、如何快速复制大量小文件方法：

1，在需要对大量小文件进行移动或复制时，用cp、mv都会显得很没有效率，可以用tar先压缩再解压缩的方式。 

2，在网络环境中传输时，可以再结合nc命令，通过管道和tcp端口进行传输。 

    　nc和tar可以用来快速的在两台机器之间传输文件和目录，比ftp和scp要来得简单的多。 

　　由于nc是一个超轻量的命令，所以一般busybox都会集成它。当一个linux终端，比如linux pda, 

　　通过usblan的方式连接到另一台linux主机的时候，这样的嵌入式终端上一般不会集成ftp server, ssh server 

　　这样比较笨重的服务，这个时候， nc可能成为唯一的上传手段。 

　　比如将机器A上的mytest目录上传到到机器 B（192.168.0.11）上，只需要： 

　　在机器B上，用nc来监听一个端口，随便就好，只要不被占用；并且将收到的数据用tar展开。-l代表监听模式。 

　　#nc -l 4444 |tar -C /tmp/dir -zxf - 

　　然后，在A上通过nc和 tar发送test目录。使用一致的4444的端口。 

　　#tar -zcvf  -  test|nc 192.168.0.11 4444

 

 

http://my.oschina.net/leejun2005/blog/64346