家中领导负责的一个系统,在清理过期文件的时候,提示了个错误,是时候展示真正的技术了,
需求:
Linux中,有如下路径结构,
/opt/app/log
/opt/app/log/backup
需要将/opt/app/log中"a"开头和".log"为后缀的文件,挪动到/opt/app/log/backup文件夹中,符合条件的文件数量有几十万,此时执行mv,则会提示mv参数列表太长的错误,
mv /opt/app/log/a*.log /opt/app/log/backup/
错误:mv argument list too long
问题:
这是因为mv移动的文件数量太多了,此时不能通过mv移动文件。
解决方案1:
Argument list too long本质是需要处理的长度超过系统的长度,因此无法执行相关命令。
既然参数过长,直观的思路,就是减少参数,分而治之的方式,来解决这问题。
此时就可以借助find找出符合条件的文件,然后拆开执行,mv的指令,有两种执行方式,一个是xargs,另一个是-exec。
xargs指令是给其他指令传递参数的一个过滤器,也是组合多个命令的一个工具,-i会将xargs的内容赋值给{}。
-exec参数后面是指执行其后面的指令,-exec以;为结尾,由于各个系统中分号的意义不同,因此用\进行转义,即\;,{}会被find指令的结果替换。
我们采用-exec,拼接指令如下,find首先找出符合条件的文件,然后{}会替换find的结果,依次执行mv,
$ cd /opt/app/log
$ find . -type f -name 'a*.log' "/opt/app/log/*" -exec mv {} /opt/app/log/backup/ \;
mv: `./backup/a1.log' and `/opt/app/log/backup/a1.log' are the same file
mv: `./backup/a2.log' and `/opt/app/log/backup/a2.log' are the same file
...
从结果来看,a*.log的文件,确实从/opt/app/log移到/opt/app/log/backup,但是执行了多少次的mv,就会提示多少次"... and ... are the same file",相当于刷屏几十万次,这是为什么?
而且从提示看,"./backup/a1.log"和"/opt/applog/backup/a1.log",因为此时使用"cd /opt/app/log",已经是在/opt/app/log下执行了,所以"./backup/a1.log"和"/opt/applog/backup/a1.log"其实就是同一个文件。
解决方案2:
从Stackoverflow的一个帖子,看到这种解释,find指令会递归到/opt/app/log/backup/路径下搜索文件,
find works recursively. It searches for files inside /opt/app/log/backup too
按照他说的,相当于我在/opt/app/log/和/opt/app/log/backup/下都要搜索一次a*.log,此时执行mv,会提示文件重复,禁止执行。
既然知道了解释,如何解决?
我们检索的目标,其实就是/opt/app/log/,因此不让find找/opt/app/log/backup/路径,就可以了。此时,可以使用"-not -path",指定不扫描。
使用如下指令,"-not -path"跟着/opt/app/log/backup/,表示不扫描/opt/app/log/backup/路径,
$ find /opt/app/log/ -type f -name 'a*.log' -not -path "/opt/app/log/backup/*" -exec mv {} /opt/app/log/backup/ \;
此时就能正常执行指令mv,不会出现提示的错误了。