linux中xargs用法

为啥要xargs?

通常Linux命令可以用|首尾相连，上一个命令的 stdout 连接到下一个命令的 stdin。但是有些命令，比如ls、rm等，是从命令行参数接受输入的。这时候如果想把上一个命令的输出传给它们，就不好办了。所以就有了xargs。

简单而言，xargs可以把从 stdin 接受到的输入，用空白符分隔开，然后依次作为参数去调用xargs后面的命令。

用法

举个例子，想把所有.jpg文件删除，当然你可以rm *.jpg，但是如果要递归操作所有子目录下的文件呢？

可以这样：

find . -name "*.jpg" | xargs rm
 
 
1
 
 
1

这样，所有被find找到的文件名，都会作为参数来调用rm命令了。

对于大多数情况，这一行命令没有问题，但是如有些文件名中包含空格，就会有问题了。xargs默认以空白符分隔接受到的输入，所以一个含有空格的文件名会被当做多个参数，分别传给rm。所以在处理文件名这类命令时，通常要这样：

find . -name "*.jpg" -print0 | xargs -0 rm
 
 
1
 
 
1

这里的-print0是告诉find命令，在每个输出后面以'\0'作为结束。-0是告诉xargs，使用'\0'来分隔输入，而不是空白符。这样就避免出现问题了。

下面再考虑另一种情况，假设不是删除，而是想把符合要求的文件名都添加上后缀.bak怎么办？这时候需要这样：

find . -name "*.jpg" -print0 | xargs -0 -I {} mv {} {}.bak
 
 
1
 
 
1

其中的-I {}是告诉xargs，后面的命令中，用{}表示占位符，将会被实际的参数替代。这样就行了。

2. 选项解释

-0 当sdtin含有特殊字元时候，将其当成一般字符，想/'空格等

例如：root@localhost:~/test#echo "//"|xargs  echo 

      root@localhost:~/test#echo "//"|xargs -0 echo 

       /

-a file 从文件中读入作为sdtin，（看例一）

-e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。（例二）

-p 当每次执行一个argument的时候询问一次用户。（例三）

-n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。（例四）

-t 表示先打印命令，然后再执行。（例五）

-i 或者是-I，这得看Linux支持了，将xargs的每项名称，一般是一行一行赋值给{}，可以用{}代替。（例六）

-r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。（例七）

-s num 命令行的最好字符数，指的是xargs后面那个命令的最大命令行字符数。（例八）

 

-L  num Use at most max-lines nonblank input lines per command line.-s是含有空格的。

-l  同-L

-d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符（例九）

-x exit的意思，主要是配合-s使用。

-P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。

3. 应用举例

例一：

root@localhost:~/test#cat test 

#!/bin/sh

echo "hello world/n"

root@localhost:~/test#xargs -a test echo

#!/bin/sh echo hello world/n

root@localhost:~/test#

例二：

root@localhost:~/test#cat txt

/bin tao shou kun

root@localhost:~/test#cat txt|xargs -E 'shou' echo

/bin tao

root@localhost:~/test#

例三：

root@localhost:~/test#cat txt|xargs -p echo

echo /bin tao shou kun ff ?...y

/bin tao shou kun ff

例四：

root@localhost:~/test#cat txt|xargs -n1 echo

/bin

tao

shou

kun

root@localhost:~/test3#cat txt|xargs  echo

/bin tao shou kun

例五：

root@localhost:~/test#cat txt|xargs -t echo

echo /bin tao shou kun 

/bin tao shou kun

例六：

$ ls | xargs -t -i mv {} {}.bak

例七：

root@localhost:~/test#echo ""|xargs -t mv

mv 

mv: missing file operand

Try `mv --help' for more information.

root@localhost:~/test#echo ""|xargs -t -r  mv

root@localhost:~/test#

（直接退出）

例八：

root@localhost:~/test#cat test |xargs -i -x  -s 14 echo "{}"

exp1

exp5

file

xargs: argument line too long

linux-2

root@localhost:~/test#

例九：

root@localhost:~/test#cat txt |xargs -i -p echo {}

echo /bin tao shou kun ?...y

root@localhost:~/test#cat txt |xargs -i -p -d " " echo {}

echo /bin ?...y

echo tao ?.../bin

y

echo shou ?...tao

再如：

root@localhost:~/test#cat test |xargs -i -p -d " " echo {}

echo exp1

exp5

file

linux-2

ngis_post

tao

test

txt

xen-3

 ?...y

root@localhost:~/test#cat test |xargs -i -p echo {}

echo exp1 ?...y

echo exp5 ?...exp1

y

echo file ?...exp5

y

xargs和find
在 使用find命令的-exec选项处理匹配到的文件时， find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现 溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。find命令把匹配到的文件 传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一 批，并如此继续下去。

在有些系统中，使用-exec选项会 为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而 效率不高；而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的数目 都会根据该命令的选项及系统内核中相应的可调参数来确定。

管 道是把一个命令的输出传递给另一个命令作为输入，比如：command1 | command2但是command2仅仅把输出的内容作为输入参数。find . -name "install.log" -print打印出的是install.log这个字符串，如果仅仅使用管道，那么command2能够使用的仅仅是install.log这个字符串， 不能把它当作文件来进行处理。

当然这个command2除了xargs。xargs就是为了能够对find搜索到的文件进行操作而编写的。它能把管道传来的字符串当作文件交给其后的命令执行。
举个例子：
$find . -name "install.log" -print | cat
./install.log                                                 #显示从管道传来的内容，仅仅作为字符串来处理
$find . -name "install.log" -print | xargs cat
aaaaaa                                                      #将管道传来的内容作为文件，交给cat执行。也就是说，该命令执行的是如果存在install.log，那么就打印出这个文件的内容。
来看看xargs命令是如何同find命令一起使用的，并给出一些例子。

1、在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限：
# find . -perm -7 -print | xargs chmod o-w
2、查找系统中的每一个普通文件，然后使用xargs命令来测试它们分别属于哪类文件
# find . -type f -print | xargs file
./liyao: empty

3、尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/rm Argument list too long. 用xargs 去避免这个问题
$find ~ -name ‘*.log’ -print0 | xargs -i -0 rm -f {}

4、查找所有的jpg 文件，并且压缩它
# find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz
5、拷贝所有的图片文件到一个外部的硬盘驱动 
# ls *.jpg | xargs -n1 -i cp {} /external-hard-drive/directory

实例应用1，将多行输入转换为单行输出：

复制代码代码如下:

amosli@amosli-pc:~/learn$ cat example.txt 
1 2 3 4 5
6 7
8
amosli@amosli-pc:~/learn$ cat example.txt | xargs 
1 2 3 4 5 6 7 8

实例应用2，将单行输入转换为多行输出：

复制代码代码如下:

amosli@amosli-pc:~/learn$ cat example.txt | xargs -n 2
1 2
3 4
5 6
7 8

空格是默认的定界符，-n 表示每行显示几个参数

还可以使用-d参数来分隔参数,如下：

复制代码代码如下:

amosli@amosli-pc:~/learn$ echo "splitXhiXamosliXsplit" | xargs -d "X" -n 1
split
hi
amosli
split

实例应用3，读取stdin,将格式化参数传递给命令

复制代码代码如下:

#定义一个echo命令每次在输出参数后都加上#
amosli@amosli-pc:~/learn$ cat cecho.sh 
echo $*'#'

＃需求1:输出多个参数
amosli@amosli-pc:~/learn$ sh cecho.sh arg1 
arg1#
amosli@amosli-pc:~/learn$ sh cecho.sh arg2 
arg2#
amosli@amosli-pc:~/learn$ sh cecho.sh arg3 
arg3#

#需求2：一次性提供所有的命令参数
amosli@amosli-pc:~/learn$ sh cecho.sh arg1 arg2 arg3
arg1 arg1 arg2 arg3#

＃针对需求1、2，使用xargs代替，先用vi建一个新文件args.txt,如下：
amosli@amosli-pc:~/learn$ cat args.txt 
arg1
arg2
arg3
＃批量输出参数:
amosli@amosli-pc:~/learn$ cat args.txt | xargs -n 1
arg1
arg2
arg3
amosli@amosli-pc:~/learn$ cat args.txt | xargs -n 2 sh cecho.sh
arg1 arg2#
arg3#
＃一次性输出所有参数：
amosli@amosli-pc:~/learn$ cat args.txt | xargs sh cecho.sh ;
arg1 arg2 arg3#

需求3，如何将参数嵌入到固定的命令行中？如下所示:

复制代码代码如下:

amosli@amosli-pc:~/learn$ sh cecho.sh -p args1 -1
-p args1 -1#
amosli@amosli-pc:~/learn$ sh cecho.sh -p args2 -1
-p args2 -1#
amosli@amosli-pc:~/learn$ sh cecho.sh -p args3 -1
-p args3 -1#

使用xargs的解决方案：

复制代码代码如下:

amosli@amosli-pc:~/learn$ cat args.txt | xargs -I {} sh cecho.sh -p {} -1
-p arg1 -1#
-p arg2 -1#
-p arg3 -1#

＃-I {}批定了替换字符串，字符串{}会被从stdin读取到的参数所替换，使用－I时，能循环按要求替换相应的参数

实例应用4，结合find使用xargs

前面已经举过例子，这里要注意的是文件名称定界符要以字符null来分隔输出，如下所示，否则可能会误删文件

复制代码代码如下:

amosli@amosli-pc:~/learn$ find . -type f -name "*test*.txt" -print0 | xargs -0 rm -f

其他：

复制代码代码如下:

cat file | ( while read arg; do cat $arg; done )
cat file | xargs -I {} cat {}