在使用下面的cp命令时出现/bin/cp: Argument list too long的错误
cp /home/data/*/*.xml /project/train/src_repo/dataset/Annotations/
cp /home/data/*/*.jpg /project/train/src_repo/dataset/images/
报错如下:
/project/train/src_repo/run.sh: line 19: /bin/cp: Argument list too long
/project/train/src_repo/run.sh: line 20: /bin/cp: Argument list too long
之前cp命令都可以正确运行,突然出现错误,前后区别就是之前cp的文件数量较少,这次cp的文件数量较多,文件数量有9w多,查阅资料后发现确实是文件数量较多导致的异常,对于cp,mv,rm等命令操作的文件数过多时会有Argument list too long的错误;
解决方法:
1, 先使用find命令查找文件,再通过xargs来传参给cp。(在实际使用过程中发现cp文件的耗时较长,未验证是使用find命令还是文件数量过多本身导致的)
find /home/data/ -name "*.jpg" | xargs -i cp {} /project/train/src_repo/dataset/images
find /home/data/ -name "*.xml" | xargs -i cp {} /project/train/src_repo/dataset/Annotations
2, 可以通过直接cp文件夹的方式(但这样不符合使用需求,就没使用)
3,其他方法如使用shell脚本等对每个符合要求的文件进行遍历,虽能达到要求,但是不如上面1行代码简洁;