linux下面快速删除大量文件及快速复制大量小文件

1)快速删除大量小文件

今天遇见一个百万级的cache目录,删了20+分钟只删掉一个目录。。。。 

在网上找到了一种巧妙的快速删除方法,原理很简单,使用rsync同步一个空目录即可。对于万级文件的目录基本是秒删,回车就OK 

步骤如下: 

1、建立一个空目录 

mkdir -p/tmp/rsync_blank 

2、确立需要清空的目标目录 

/data/ooxx 

3、使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。 

rsync--delete-before -a -H -v --progress –stats /tmp/rsync_blank/ /data/ooxx/

选项说明: 

–delete-before 接收者在传输之前进行删除操作 

–progress 在传输时显示传输过程 

-a 归档模式,表示以递归方式传输文件,并保持所有文件属性 

-H 保持硬连接的文件 

-v 详细输出模式 

-stats 给出某些文件的传输状态 

一般我们不需要显示进度,使用以下命令即可 

rsync--delete-before -a -H /tmp/rsync_blank/ /data/ooxx/ 

这样我们要删除的 cache目录就会被清空了。  

 

Tips  

SRCDEST文件性质不一致时将会报错  

SRCDEST性质都为文件【f】时,意思是清空文件内容而不是删除文件  

SRCDEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录  

最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事  

最核心的内容是:rsync实际上用的就是替换原理 

 

2)快速复制大量小文件方法 

1. 在需要对大量小文件进行移动或复制时,用cpmv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  

2. 在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。  

nctar可以用来快速的在两台机器之间传输文件和目录,比ftpscp要来得简单的多。  

由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda,  

通过usblan的方式连接到另一台linux主机的时候,这样的嵌入式终端上一般不会集成ftp server, ssh server  

这样比较笨重的服务,这个时候, nc可能成为唯一的上传手段。  

比如将机器A上的mytest目录上传到到机器 B192.168.0.11)上,只需要:  

在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。  

#nc -l 4444 |tar -C /tmp/dir -zxf-  

然后,在A上通过nc tar发送test目录。使用一致的4444的端口。  

#tar -zcvf  -  test|nc192.168.0.11 4444 

 

REF: http://www.blogjava.net/hongqiang/archive/2012/07/12/382939.html

Linux文件系统十问,你知道吗? http://djt.qq.com/article/view/620


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值