Linux下快速删除大量文件/文件夹方法--rsync

最新推荐文章于 2024-08-29 16:17:58 发布

清塘荷韵_kathy

最新推荐文章于 2024-08-29 16:17:58 发布

阅读量6.3k

点赞数 1

分类专栏： linux基础

linux基础专栏收录该内容

11 篇文章 1 订阅

订阅专栏

假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf *可能就不好使了。

rsync提供了一些跟删除相关的参数

rsync–help | grep delete
–del an alias for –delete-during
–delete delete files that don’t exist on the sending side
–delete-before receiver deletes before transfer (default)
–delete-during receiver deletes during transfer, not before
–delete-after receiver deletes after transfer, not before
–delete-excluded also delete excluded files on the receiving side
–ignore-errors delete even if there are I/O errors
–max-delete=NUM don’t delete more than NUM files

[root@localhost tmp]# mkdir null    #创建一个空目录
[root@localhost tmp]# rsync -av --delete null/ testDir/
sending incremental file list
./
deleting testSet2.txt
deleting testSet.txt
deleting portlandClubs.txt
deleting places.txt
deleting kMeans.py
deleting guiyihua.py
deleting ez_setup.py
..............

sent 29 bytes  received 15 bytes  88.00 bytes/sec
total size is 0  speedup is 0.00
[root@localhost tmp]# ls testDir/
[root@localhost tmp]#

上例中，选项–delete使testDir/目录内容和空目录内容保持一致，不同的文件及目录将会被删除，即null里面有什么内容，testDir里就有什么内容；null里没有的，而testDir有的，就必须要删除，因为null目录为空，因此此命令会删除testDir目录下的所有内容。

一、快速删除大量文件

–delete-before 接收者在传输之前进行删除操作

可以用来清空目录或文件，如下：

1、先建立一个空目录
mkdir /data/blank

2、用rsync删除目标目录
rsync–delete-before -d /data/blank/ /var/spool/clientmqueue/

这样目标目录很快就被清空了

二、快速删除大文件

又假如你有一些特别大的文件要删除，比如nohup.out这样的实时更新的文件，动辄都是几十个G上百G的，也以用rsync来清空大文件，而且效率比较高

1、创建空文件
touch /data/blank.txt

2、用rsync清空文件
rsync-a –delete-before –progress –stats /root/blank.txt /root/nohup.out

building file list …
1 file to consider
blank.txt
0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)

Number of files: 1
Number of files transferred: 1
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 27
File list generation time: 0.006 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 73
Total bytes received: 31

sent 73 bytes received 31 bytes 208.00 bytes/sec
total size is 0 speedup is 0.00

为什么rsync能够快速删除大文件

1、rm命令大量调用了lstat64和unlink，可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程：正式删除工作的第一阶段，需要通过getdirentries64调用，分批读取目录（每次大约为4K），在内存中建立rm的文件列表；第二阶段，lstat64确定所有文件的状态；第三阶段，通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。

2、rsync所做的系统调用很少：没有针对单个文件做lstat和unlink操作。命令执行前期，rsync开启了一片共享内存，通过mmap方式加载目录信息。只做目录同步，不需要针对单个文件做unlink。

另外，在其他人的评测里，rm的上下文切换比较多，会造成System CPU占用较多——对于文件系统的操作，简单增加并发数并不总能提升操作速度。

tips：
当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时，意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时，意思是删除该目录下的所有文件，使其变为空目录
最重要的是，它的处理速度相当快，处理几个G的文件也就是秒级的事
最核心的内容是：rsync实际上用的就是替换原理

总结：

把文件系统的目录与书籍的目录做类比，rm删除内容时，将目录的每一个条目逐个删除(unlink)，需要循环重复操作很多次；rsync删除内容时，建立好新的空目录，替换掉老目录，基本没开销。

转载来自：http://www.tuicool.com/articles/6Nvqem
https://blog.csdn.net/liuxiao723846/article/details/51626305