linux 删除百万文件,Linux下一次删除百万文件

Linux下一次删除百万文件

线上环境遇到的一个问题，文件数量过多，执行rm命令报错

# rm -f ./*

-bash: /bin/rm: Argument list too long

根据报错检查状态

# ls | wc -l

634084

# du -sh

64G

在线下环境进行故障复现

测试环境准备

# df -Th

Filesystem     Type   Size  Used Avail Use% Mounted on

/dev/sda3      ext4   1.8T  331G  1.4T  20% /

tmpfs          tmpfs  7.7G     0  7.7G   0% /dev/shm

/dev/sda1      ext4   190M   61M  120M  34% /boot

# grep name /proc/cpuinfo

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

model name      : Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz

# free -m

total       used       free     shared    buffers     cached

Mem:         15709       1643      14066          8        452        559

-/+ buffers/cache:        631      15078

Swap:         8191          0       8191

# cat /etc/redhat-release

CentOS release 6.8 (Final)

# uname -r

2.6.32-642.1.1.el6.x86_64

测试生成测试数据

# for i in `seq 1000000`;do echo "${i}" >> ${i}.txt;done

# ls | wc -l

1000000

# du -sh

3.9G .

# ls *.txt

-bash: /bin/ls: Argument list too long

# rm -f ./*

-bash: /bin/rm: Argument list too long

方法1：使用for循环方式执行删除任务

# time for i in `ls ./`;do rm -f ${i};done

real   58m44.234s

user  8m59.930s

sys    37m16.453s

时间太长了，绝壁不能忍

方法2：直接删目录

# time rm -rf test && mkdir test

real   0m56.768s

user  0m1.453s

sys    0m22.603s

# du -sh test

4.0K  test

速度不错，然而很多情况下不能直接删目录，有点蛋疼

方法3：使用 find + xargs 组合命令执行删除任务(网上流传最多的方法)

# time find ./ -type f | xargs -n 1 rm -f

real   18m30.267s

user  0m9.536s

sys    1m38.999s

# time find ./ -type f | xargs rm -f

real   16m16.774s

user  0m2.232s

sys    0m30.454s

一样蛋疼，如果需求是删除全部文件的话，用这种方法就太low了，适合删除部分数据的场景

方法4：使用 ls + xargs 组合命令执行删除任务

# time ls | xargs -L 100 rm -f

real   1m3.801s

user  0m7.054s

sys    0m28.582s

# time ls | xargs -L 1000 rm -f

real   0m55.917s

user  0m5.322s

sys    0m24.778s

# time ls | xargs -L 2000 rm -f

real   0m55.560s

user  0m5.209s

sys    0m24.702s

# time ls | xargs -L 5000 rm -f

real   0m55.057s

user  0m5.196s

sys    0m24.666s

# time ls | xargs -L 10000 rm -f

real   0m55.733s

user  0m5.121s

sys    0m24.657s

# time ls | xargs -L 100000 rm -f

xargs: argument list too long

real   0m4.018s

user  0m3.324s

sys    0m0.701s

速度杠杠滴～～但是注意文件名长度，选择合适的传参数量

方法5：使用rsync命令来执行删除任务

# mkdir /tmp/Null

# time rsync --delete-before -d /tmp/Null/ ./

real   0m56.386s

user  0m1.767s

sys    0m28.075s

# ll

total 0

# du -sh ./

29M ./

没什么优点，缺点是rsync命令比较冷门，参数不容易记住，用的机会也不多，作为拓展方法了解一下就好

如果你有其他好的方法，可以一起探讨一下～～

原创文章，侵权必究

Linux服务器删除乱码文件和文件夹的方法

Linux服务器删除乱码文件和文件夹的方法 首页进入乱码文件所在文件夹由于php大势所趋,所以接触Linux服务器的机会越来越多.不同于Windows服务器,Linux服务器只支持数字.英文等字符,对 ...

Linux上删除大量文件几种方式对比

目录 Linux上删除大量文件几种方式对比 1. rm删除:因为文件数量太多,rm无法删除(报错) 2. find查找删除:-exec 3. find查找删除:xargs 4. find调用-dele ...

linux下删除大量文件提示参数过长解决办法

linux下删除大量文件提示参数过长解决办法:在当前目录下rm -rf * 在linux中删除大量文件时,直接用rm会出现:-bash: /bin/rm: 参数列表过长的错误. 这时可以用find命令 ...

Linux下删除大量文件效率对比

来自公众号:马哥Linux运维 今天我们来测试一下Linux下面删除大量文件的效率. 首先建立50万个文件 $ test   for i in $(seq 1 500000);do echo text ...

如何恢复 Linux 上删除的文件，第 1 部分

来源:http://www.ibm.com/developerworks/cn/linux/l-cn-filesrc/ 原理及普通文件的恢复 要想恢复误删除的文件,必须清楚数据在磁盘上究竟是如何存储的 ...

linux下删除乱码文件、目录

由于编码原因,在linux服务器上上传.创建中文文件或目录时,会产生乱码,如果想删除它,发现用rm命令是删除不了的 这种情况下,用find命令可以删除乱码的文件或目录. 首先进入乱码文件或目录所在的目 ...

linux 下删除乱码文件-乾颐堂

在linux下删除文件,遇到特殊字符是一件非常头疼的事情. 1. 如果文件名带 ‘-’ 或者‘--’这样的字符 删除办法为:rm -- 文件名 如文件名为:-pythontab.tgz 如果用普通方法 ...

Linux rm 删除指定文件外的其他文件 方法汇总

一.Linux下删除文件和文件夹常用命令如下: 删除文件: rm file 删除文件夹: rm -rf dir 需要注意的是, rmdir 只能够删除 空文件夹 . 二.删除制定文件(夹)之外的所有文 ...

Linux rm删除大批量文件

在使用rm删除大批量文件时,有可能会遭遇"参数列太长"(Argument list too long)的问题.如下所示 [oracle@DB-Server bdump]$ rm - ...

随机推荐

mongo基本操作

创建数据库文件的存放位置,比如d:/mongodb/data/db.启动mongodb服务之前需要必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功. 打开cmd(windows键 ...

html页面识别当前系统和语言

项目中需要一个下载功能,根据系统跳转到不同的页面,如iphone跳转到IOS页面,android跳转到android页面. 下面为页面判断页面:

[css] vertical-align和line-height

原文链接:http://www.zhangxinxu.com/wordpress/2015/08/css-deep-understand-vertical-align-and-line-height/ ...

Delphi使用XmlHttp获取时间

uses ComObj, DateUtils; procedure TForm1.Button1Click(Sender: TObject); var XmlHttp: Variant; datetx ...

关于array_agg 函数

今天一个客户问怎样把表中相同键值对应的文本按照一定顺序拼接起来.如果使用SQL实现将非常麻烦,并且效率低下.GP4.1以后提供了一个函数array_agg可以方便快捷,高效的实现该功能 比如原始查询是 ...

新入门的小白，整理一下特别简单实用的div+css兼容性的问题。

最近整理了一下特别简单的div+css的不同浏览器的兼容性的问题,跟大家分享一下,只适合刚入门的新手,欢迎大牛们给提出意见. 1. 默认的内外边距不同 问题: 各个浏览器默认的内外边距不同 解决: * ...

动手写 js 沙箱

本文由云+社区发表 作者:ivweb villainthr 市面上现在流行两种沙箱模式,一种是使用iframe,还有一种是直接在页面上使用new Function + eval进行执行. 殊途同归,主 ...

[buaa-SE-2017]个人作业-回顾

个人作业-回顾 提问题的博客:[buaa-SE-2017]个人作业-Week1 Part1: 问题的解答和分析 1.1 问题:根据书中"除了前20的学校之外,计科和软工没有区别"所 ...

Single transistor provides short-circuit protection

In certain dc/dc-converter applications, on-chip, cycle-by-cycle current limit may be insufficient p ...

.net SMTP 发送邮件

using System.Net.Mail; public static bool SendMail(string messTo,string messBody) { MailMessage mess ...