处理大型数据集报错：/bin/cp: Argument list too long的解决方法

于 2024-08-29 16:11:05 发布
阅读量458 收藏 6
点赞数 12
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75981172/article/details/141681134
版权

在处理大型数据集时，在使用下面的cp命令时出现/bin/cp: Argument list too long的错误

用下面的cp命令时出现/bin/cp: Argument list too long的错误

cp /home/YOLO22classes/annotations/*.xml /home/YOLO22classes/labels/


报错如下：

sh: xxx: /bin/cp: Argument list too long


之前cp命令都可以正确运行，突然出现错误，前后区别就是之前cp的文件数量较少，这次cp的文件数量较多，数据文件数量有11w多，查阅资料后发现确实是文件数量较多导致的异常，对于cp，mv，rm等命令操作的文件数过多时会有Argument list too long的错误；

解决方法：
1, 先使用find命令查找文件，再通过xargs来传参给cp。（在实际使用过程中发现cp文件的耗时较长，未验证是使用find命令还是文件数量过多本身导致的）

find /home/data/ -name "*.xml" | xargs -i cp {} /project/train/src_repo/dataset/xml
 

Dehuan2024
关注
bash: /usr/bin/cp: Argument list too long Linux 系统大量数据移动复制出错
wendell 的博客
11-18 3508
bash: /usr/bin/cp: Argument list too long Linux 系统大量数据移动复制出错
聊聊 Linux Argument list too long 问题的N种解法
热门推荐
一得同学
05-11 2万+
删除数百万文件的各种姿势，争取一篇给你讲全了！
使用cp时，bash: /bin/cp: Argument list too long
martinkeith的博客
01-04 1393
find ./srcdir/ -name "*.*" |xargs -i cp {} ./dstdir/
Linux遇到“Argument list too long”
qq_44722189的博客
08-11 447
在Linux中使用cp, mv, rm, zip等命令时有时会遇到“Argument list too long”的错误，主要是要进行操作的文件过多导致的。是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。为结尾，由于各个系统中分号的意义不同，因此用。是指在指定文件夹下查找指定名称的文件。参数后面是指执行其后面的命令，
/bin/cp: Argument list too long的解决方法
DC2019的博客
06-03 1881
之前cp命令都可以正确运行，突然出现错误，差别就是直接cp的文件数量较少，这次在cp的文件数量较多，查阅资料后发现确实是文件数量较多导致的异常，对于cp，mv，rm等命令操作的文件数过多时会有Argument list too long的错误；在使用下面的cp命令时出现/bin/cp: Argument list too long的错误。2, 可以通过直接cp文件夹的方式（但这样不符合使用需求，就没使用）1, 先使用find命令查找文件，再通过xargs来传参给cp。
linux sh: /bin/cp: Argument list too long
fu6543210的博客
12-25 5183
参考：https://blog.csdn.net/enough_br/article/details/7595590 解决Argument list too long 问题的具体步骤： 1、进入到桌面目录下，新建两个文件夹，文件夹命名为：source和target，目的将source目录下的所有文件复制到target目录下 mkdir source target 2、通过shell脚本或者...
拷贝文件时出现/bin/cp: Argument list too long
weixin_41012399的博客
12-21 372
命令，如果是rm 、ls操作将以上命令里中的mv改为相应的命令即可；
Linux批量复制文件夹里的文件到另一个文件夹（问题：linux sh: /bin/cp: Argument list too long ）
weixin_39506322的博客
08-22 4756
cp -Rf 原文件夹路径 目标文件夹路径 例子： cp -Rf /home/src/* /home/tar/ 原文件夹路径：/home/src/* （加上 * 表示 /home/src/下的所有文件） 目标文件夹路径：/home/tar/ 问题报错：linux sh: /bin/cp: Argument list too long 出现问题：执行linux中的cp命令，...
运维实战案例之“Argument list too long”错误与解决方法
企鹅漫步
09-09 2233
作为一名运维人员来说，这个错误并不陌生，在执行rm、cp、mv等命令时，如果要操作的文件数很多，可能会使用通配符批量处理大量文件，这时就可能会出现“Argument list too long”这个问题了。 1、错误现象 这是一台Mysql数据库服务器，在系统中运行了很多定时任务，今天通过crontab命令又添加了一个计划任务，退出时发生了如下报错： 1
Centos7/Centos8 Redis6安装(附配置文件)
weixin_48803304的博客
07-12 1197
1、下载并解压缩 wget http://download.redis.io/releases/redis-6.0.5.tar.gz tar xzf redis-6.0.5.tar.gz 2、创建安装目录 mkdir /etc/redis #数据库目录，请根据实际情况指定目录（需要修改redis.conf生效） mkdir -p /data/redis 3、准备配置文件 cd redis-6.0.5 cp redis.conf /etc/redis/redis.conf 4、编译安装 mkdir /
数据采集之测试数据的造数
默主归沙的博客
04-24 3264
目录 0 环境准备： 1 软件环境的搭建 1.1 jdk的安装 1.2 scala的安装 1.3 hadoop的安装 0 环境准备： 新建虚拟机->设置静态网络->修改映射配置 新建虚拟机 参考 面向大数据开发的集群之虚拟机搭建（一）_林柚晞的博客-CSDN博客 设置静态网+修改映射配置 参考 项目0单节点的虚拟机做大数据开发（四万字全）_林柚晞的博客-CSDN博客 创建项目路径 mkdir -p /opt/apps mkdir -p /opt/...
Linux运维
qq_41875506的博客
06-10 1906
一.Linux 基础 1.systemd 2. 一.Linux 基础 1.systemd 计算机在启动一个OS时必须加载并初始化OS后才能运行其它任务，即计算机启动需要一款初始化系统。 systemd是目前Linux OS中最流行的系统初始化工具。 系统初始化工具： systemvinit：传统的系统初始化工具，已被upstart和systemd取...
Linux：/bin/cp: Argument list too long解决
v-space的博客
08-17 892
find ori_dir/ -iname "*.wav"|xargs -i cp {} dst_dir/
linux中使用cp命令出现Argument list too long
Bling323的博客
04-08 627
linux下复制粘贴时因为文件数量太多出现的报错的解决办法
linux sh: /bin/cp: Argument list too long 问题解决
enough_br的专栏
05-23 1万+
问题描述：使用python编程，执行linux中的cp命令，当cp 的目录查过一定的数目会报Argument list too long 的警告，具体的cp 文件的上限以及一个文件夹最多可以创建几个文件个数，可以通过命令 ulimit  -a 查看，如图： 解决Argument list too long 问题的具体步骤： 1、进入到桌面目录下，
linux cp argument list too long,运维实战案例之“Argument list too long”错误与解决方法...
weixin_27603469的博客
05-16 1271
作为一名运维人员来说，这个错误并不陌生，在执行rm、cp、mv等命令时，如果要操作的文件数很多，可能会使用通配符批量处理大量文件，这时就可能会出现“Argument list too long”这个问题了。1、错误现象这是一台Mysql数据库服务器，在系统中运行了很多定时任务，今天通过crontab命令又添加了一个计划任务，退出时发生了如下报错：#crontab-e编辑完成后，保存退出，就出现下...
Linux中执行zip、cp、rm等命令时出现“Argument list too long”的解决方法
Yale-曼陀罗
07-06 4671
Linux中“Argument list too long”解决方法 1. 问题描述： Linux下在使用cp，mv，rm、zip等命令时经常会碰到“Argument list too long”的错误，这主要是因为这些命令的参数太长，即：文件个数过多导致的。 2. 解决方案： 方法1：通过命令，find和xargs来解决。 方法2：通过命令，find和exec来解决。 3. 典型范例： （1）要删除test文件夹下以.jpg结尾的文件。 # 方法一： find test/ -name "*.jpg" |
bash: /usr/bin/chmod: Argument list too long 怎么解决
最新发布
09-21
当你在 Bash shell 中尝试修改文件权限（`chmod`），如果需要指定的文件太多，可能会遇到 "Argument list too long" 的错误。这是因为 Linux 系统对命令行参数长度有限制。解决这个问题可以分为两步： 1. **分批操作**：如果你有大量文件，可以将它们分组或者使用通配符(`*`)，然后多次运行 `chmod` 命令。例如，先处理一部分文件，然后再处理下一部分。 ```sh find . -type f -name "*.txt" -exec chmod 644 {} \; ``` 这里假设你想改变所有 `.txt` 文件的权限。每次只处理一部分文件，直到所有文件都更改完毕。 2. **使用脚本**：你可以创建一个临时脚本来批量处理，比如把所有的文件名写入到一个文本文件（`.list`），然后通过循环读取这个文件来执行 `chmod`。 ```sh cat files_to_change.list | while read file; do chmod 644 "$file"; done ``` 创建 `files_to_change.list`，列出所有文件路径： ```sh ls * | tee files_to_change.list ``` 记得替换 `644` 和 `*.txt` 为你实际需要的权限和文件模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值