linux删除数据慢,Linux下快速删除大量小文件的方法探索

最新推荐文章于 2024-03-08 08:35:00 发布
最新推荐文章于 2024-03-08 08:35:00 发布
阅读量1.4k 收藏 2
点赞数
文章标签： linux删除数据慢

一、前言

Linux服务器磁盘中存在大量小文件，需要进行删除(文件小于1K，数量50w~100w)，发现rm删除速度奇慢无比，甚至出现“argument list too long”的错误。网上资料一搜索基本都是建议rsync方法，所以本文对几种常见的方法进行试验对比。

二、相关知识

2.1 文件系统的元数据(metadata)

1)superblock：记录文件系统的整体信息，包含inode/block的大小、总量、使用量、剩余量，以及文件系统的格式，文件系统挂载时间，最近一次数据写入时间，最近一次校验磁盘的时间等。

2)inode：表示文件系统的对象，具备唯一标识符(一个文件占用一个inode)，inode记录了文件的元信息，具体来说包含的信息为：文件所有者、访问权限(读、写、执行)、类型(是文件还是目录)、内容修改时间、inode修改时间、上次访问时间、对应的文件系统存储块(Block)的地址；

3)block：实际记录文件的内容，若文件太大，则会占用多个block，通常的block大小有1K，2K，4K三种，这里内核记录block信息的数据结构是Bitmap。

2.2 文件系统工作原理(ext2、ext3)

ext2 为索引式文件系统，新增一个文件的流程如下：

1)确定目录是否有写权限/打开权限(w/x)，没有则返回失败；

2)根据inode-bitmap分配新的inode，将新文件权限/属性记入；

3)根据block-bitmap分配新的block，将文件数据写入block中，更新inode的block指向数据；

4)将新的inode、block数据同步到inode-bitmap、block-bitmap中，并更新superblock内容；

ext3 为日志式文件系统，对ext2的缺点进行改进(系统故障重启，修复元数据信息耗时长)，多出一块日志记录区块来保证可靠性：

1)当系统准备写入一个文件时，先在日志记录区块记录文件要写入的信息；

2)写入文件权限/属性，写入文件数据，更新元数据内容(同ext2)；

3)完成数据与元数据更新后，在日志记录区块完成文件的记录；

在出现故障需要恢复时，可根据日志追踪之前提交到主文件系统的更改，大大减少了磁盘的扫描时间，实现丢失数据的快速重建，比传统的索引式文件系统更安全[3]。Linux下的集中日志式文件系统有XFS(目前是CentOS7的默认文件系统)，ReiserFS，Ext3，Ext4。

三、实验

3.1 实验环境

CPU：4核，Intel(R) Core(TM) i3-3120ME CPU @ 2.40GHz

内存：8G

硬盘：1T(ST1000NM0055)

操作系统：Linux-3.10.25

文件系统：ext3

软件版本：find、rm(busybox1.24)、rsync3.1、bash3.2、perl5.8

3.2 实验步骤

1)创建文件：创建文件夹test，生成$num个8字节的文件，为防止文件名有规律，文件名给定随机的前缀，并且每次生成完成后都清空内存cache(echo 3 >/proc/sys/vm/drop_caches)

function genfiles()

{

mkdir test

for ((ix=0; ix

local filename=$RANDOM

echo -n "01234567" >test/$filename-$ix

echo "Genfile($ix/$num): $filename"

done

}

2)删除文件：根据文章[1]给出的方法，实验各种删除方法，并使用time给出统计时间

time rm -rf test

time find test -type f -delete;

time perl -e 'for(){((stat)[9]

time ./rsync -a --delete $PWD/tmp/ $PWD/test/

3)生成100w个文件，测试结果如下：

测试方法

耗时

rm -rf test

11m12.703s

find test -type f -delete;

13m18.632s

cd test && perl -e 'for(){((stat)[9]

19m17.510s

./rsync -a --delete $PWD/tmp/ $PWD/test/

17m54.199s

结果并没有跟文章[1]描述的情况一致，rsync快速提升？！

四、编程改进

根据文件系统元数据的思路，考虑我生成100w小文件的时候，名字为随机命名的，但是inode号为正向顺序增长的(猜测blocks块按照一定规律写入，机械硬盘的磁头使用自身高效的方式进行写入)，如果删除文件时按照inode号顺序进行排序效率会怎么样？思路如下：

1)遍历目录，获取文件列表，按照inode号大小排序；

2)按照文件列表删除文件；

3)两种方案进行速度比较：inode排序(-DORDER_BY_INODE)、文件名排序；

遍历目录，将文件插入到红黑树regtree中，目录插到vector中：

static int __dir_scan(const char *pname, REGTREE &regtree, vector &dirlist)

{

int cnt = 0, ret = 0;

DIR *dir = NULL;

struct dirent *entry = NULL;

dir = opendir(pname);

assert(dir);

printf("dir: %s\n", pname);

while ((entry = readdir(dir)) != NULL) {

if (0 == strcmp(entry->d_name, ".") ||

0 == strcmp(entry->d_name, "..")) {

continue;

}

string fname = pname;

fname.append("/");

fname.append(entry->d_name);

if (entry->d_type == DT_DIR) {

ret = __dir_scan(fname.c_str(), regtree, dirlist);

if (ret <= 0) {

cnt = 0;

}

else {

cnt += ret + 1;

}

dirlist.push_back(fname);

}

else {

#ifdef ORDER_BY_INODE

regtree.insert(pair(entry->d_ino, fname));

#else

regtree.insert(pair(fname, fname));

#endif

cnt++;

}

if (regtree.size() >= BATCH_SIZE) {

break;

}

}

closedir(dir);

return cnt;

}

根据dirlist删除目录、regtree删除文件：

static int __dir_remove(vector &dirlist)

{

int cnt = dirlist.size();

for (size_t ix = 0; ix < dirlist.size(); ix++) {

LOGN("rmdir: %s\n", dirlist[ix].c_str());

rmdir(dirlist[ix].c_str());

}

// dirlist.clear();

return cnt;

}

static int __reg_remove(REGTREE &regtree)

{

int cnt = regtree.size();

for (REGTREE::iterator iter = regtree.begin();

iter != regtree.end(); iter++) {

LOGD("unlink: %llu %s\n", iter->first, iter->second.c_str());

unlink(iter->second.c_str());

}

regtree.clear();

LOGN("Files: %d\n", cnt);

return cnt;

}

为了防止内存占用过大，100w文件列表的内存使用超过1Gb，期间对regtree.size()进行限制，当扫描文件列表达到10w后，先退出扫描，先把文件删除一部分后再继续

#include

#include

#include

#include

#include

#include

#define BATCH_SIZE 100000

#ifdef ORDER_BY_INODE

# define REGTREE map

#else

# define REGTREE map

#endif

using namespace std;

int main(int argc, char *argv[])

{

int ret = FAILURE, cnt = 0;

REGTREE regtree;

vector dirlist;

while (1) {

if (__dir_scan(argv[1], regtree, dirlist) == 0) {

cnt += __dir_remove(dirlist);

break;

}

else {

cnt += __reg_remove(regtree);

}

}

ret = rmdir(argv[1]);

exit(ret ? EXIT_FAILURE : EXIT_SUCCESS);

}

上面测试程序写的比较糙，vector没有对dirlist进行去重，多次扫描还会多次rmdir同一个目录；中间使用了assert，实际过程可能还会出现文件删除不掉，文件夹陆续还有新文件出现的情况；

测试数据一看还是蛮不错的，相比rsync、rm、find方法快了许多：

测试方法

耗时

./rm_by_inode test

0m53.135s

./rm_by_name test

9m55.988s

五、结论

这本先是根据文章[1]进行了实验，后来发现实验结果完全与文章不一致，又查看了一些文件系统的资料，后来自己写了代码实验了一下，最终发现ext3文件系统下，inode号与磁头处理效率是挂钩的，特此将步骤写下，后续工程中再继续实践~

参考文章：

[1] https://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

[2] https://www.ibm.com/developerworks/cn/linux/l-linux-filesystem/

[3] https://zhuanlan.zhihu.com/p/22976640

weixin_40006963
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux下正确快速删除海量文件的方法分享
01-20
前言 注意本文说的“海量”并不是指体积大，而是指数量，比如一个目录下有数百万个小文件。 最近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录下发现有大量的文件，进入这些目录里使用ls命令是愚蠢的做法，而直接执行rm * ， 没有任何反应，文件数量也没有减少，也就是说，在海量文件目录里直接使用rm命令进行删除是无效的。 那么正确的方法是什么呢？有两种方法可选： 第一种： find /path/to/directory -type f -exec rm {} \; 第二种： ls -1 /path/to/directory | xargs -I{} rm
linux上删除文件过慢,linux解决rm -rf删除大量文件很慢 实现快速删除
weixin_31781061的博客
04-30 5424
在linux上使用rm -rf删除海量文件非常慢，慢到无法等待到结果，慢到无法接受，慢到怀疑生命。先分析一下为什么rm 删除文件慢，然后给出解决方法1.为什么rm删除大量文件很慢rm命令大量调用了lstat64和unlink，可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程：正式删除工作的第一阶段，需要通过getdirentries64调用，分批读取目录(每次大约为4K)，在内存中...
linux怎么快速删除大量文件，比rm快的方法来了
最新发布
零久的博客
03-08 1014
结合-exec选项，可以删除匹配的文件。这个命令将在/path/to/directory目录及其子目录中查找所有的文件，并使用rm -f命令删除它们。最后，对于删除大量文件的情况，如果直接使用rm命令出现“参数列表过长”的错误，可以考虑使用find命令结合-exec或-delete选项，或者使用xargs命令来处理。rsync删除内容时，通过建立好新的空目录替换掉老目录，不需要进行大量的遍历操作，因此效率会高很多。注意：在使用这些方法时，请务必谨慎操作，确保要删除的文件没有重要的内容。
Linux 下删除大量文件效率对比
leonnew的博客
12-06 1496
今天我们来测试一下Linux下面删除大量文件的效率。 首先建立50万个文件 $ test for i in $(seq 1 500000);do echo text >>$i.txt;done 1 测试目录：/home/test 模拟写入3000万个空文件： echo test{01..30000000} | xargs touch 1 结果把inode都给占满了： 查看创建的空文件 ： #time find . -type f -empty |wc -l 1 rm删除 ..
linux上删除文件过慢,Linux上删除大量文件几种方式对比
weixin_39911916的博客
04-30 680
Linux上删除大量文件几种方式对比linux上删除大量小文件删除测试：删除500000个小文件测试生成文件：$ for i in $(seq 500000);do echo 'text' >hello/$i.txt;done$ du -sh hello2.0Ghello1. rm删除：因为文件数量太多，rm无法删除(报错)$ time rm -f *-bash: /usr/bin/rm: ...
Linux下如何快速删除数百万文件夹
weixin_49341896的博客
06-25 484
使用rm命令删除大文件夹（包含很多小文件）很慢，可以使用rsync 包来进行。
Linux删除目录下的文件的10种方法小结
09-15
本文是脚本之家小编给大家收藏整理的Linux删除目录下的文件的10种方法，文中还给大家提到了Linux 删除文件夹和文件的命令，具体内容详情大家参考下本
linux删除大量文件的6种方法
09-15
主要介绍了linux删除大量文件的6种方法,需要的朋友可以参考下
Linux下删除乱码或特殊字符文件的方法讲解
09-15
今天小编就为大家分享一篇关于Linux下删除乱码或特殊字符文件的方法讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Linux删除文件不同方法效率对比
01-09
测试一下Linux下面删除大量文件的效率。 首先建立50万个文件 $ test for i in $(seq 1 500000);do echo text >>$i.txt;done 1. rm删除 $ time rm -f * zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y zsh: argument list too long: rm rm -f * 3.63s user 0.29s system 98% cpu 3.985 total 由于文件数量过多，rm不起作用。 2. fin
Linux下删除文件的几种方法及速度比较
smok56888的专栏
05-07 3845
业务需要产生大量琐碎文件，最终服务器的inode被占100% 用rm直接删除文件，等啊等中间跑了两次厕所也没有执行完，能不能有快一点的方法啊！ google一把发现一篇好文，原地址点这里，转过来备忘 场景：删除/tmp下的所有文件 方法一：直接使用rm rm -f /tmp/* 方法二：使用find 和 rm find /tmp/ -type f
Linux磁盘爆满！明明有空间却提示磁盘空间不足！session等小文件太多删不掉！
Rudon滨海渔村的博客
02-04 1万+
错误： 1. Linux使用tab补全时提示 bash: cannot create temp file for here-document: No space left on device 2. 网站前端提示Session读写失败：open(..../session_..., O_RDWR) failed: No space left on device (28) 原因： (在本
linux 优化速度 rm rf,1招搞定 rm -rf 带来的伤害
weixin_39857211的博客
05-15 832
Linux下删除文件不像Windows,删除的文件会放入回收站,一旦删除有误,可通过回收站找回.Linux下通过rm -rf命令删除文件,删除后文件一般无法找回, 就是这种机制,每次带来的都是巨大的教训.为此实现一个回收站机制,避免悲剧的发生.原理如下：重定向rm命令,并不真正执行删除操作,而将文件移动到一个特定目录设置时间定时清除临时回收站重定向命令首先写shell脚本替换rm命令,或者在需要删...
【Shell 命令集合 文件管理】Linux 删除 rm命令使用指南
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-24 1628
rm命令是Linux操作系统中的一个常用命令，用于删除文件或目录。
Linux命令集（Linux文件管理命令--rm指令篇）
是你呀星途的博客
04-30 2126
🌟希望能够帮助正在Linux路上奋斗的你🌟。即使文件属性为只读也可以直接删除，无需确认。下述为rm命令详细选项(--help)文件名重合会覆盖目标文件而不提示。当文件名重合时不覆盖目标文件。
Linux管理文件命令（2）rm命令-删除文件或者目录
热门推荐
不吃羊的小灰灰博客
02-07 1万+
rm是一个很危险的命令，使用的时候要特别当心，尤其对于新手更要格外注意，如执行“rm -rf /*”命令则会清空系统中所有的文件，甚至无法恢复回来。所以我们在执行之前一定要再次确认下在哪个目录中，到底要删除什么文件，考虑好后再敲击回车，时刻保持清醒的头脑。rm命令来自于英文单词remove的缩写，作用是用来删除文件或者目录的命令，一次可以删除多个文件，或者递归删除目录及目录下的所有子文件。面对rm如此危险的命令，要打起十二分精神才行呢。
linux如何快速删除大量小文件
03-27
在Linux中，可以使用以下命令快速删除大量小文件： 1. 使用find命令查找需要删除的文件，例如： ``` find /path/to/dir -type f -name "*.txt" -delete ``` 这个命令会在/path/to/dir目录下查找所有后缀名为.txt的文件，并删除它们。 2. 使用xargs命令将find命令的结果传递给rm命令，例如： ``` find /path/to/dir -type f -name "*.txt" | xargs rm -f ``` 这个命令也会在/path/to/dir目录下查找所有后缀名为.txt的文件，并删除它们。xargs命令会将find命令的结果传递给rm命令。 注意：这些命令都是不可逆的，因此请谨慎使用。建议先备份需要删除的文件，以防意外删除。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值