sed、xargs 命令

• 这两天笔试做了一道题，要我找到当前目录下所有xml文件，并且把里面的hello替换为world。找到所有xml好办，find命令就好，但怎么替换里面的内容就一脸懵逼了。然后今天查了下，看到可以用sed或者xargs命令，所以就学了一下。

 

一. sed

• sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

1. 使用方式

• sed [options] 'command' file(s)
  sed [options] -f scriptfile file(s)

 

• options：
  -e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；
  -f<script文件>或--file=<script文件>：以选项中指定的script文件来处理输入的文本文件；
  -h或--help：显示帮助；
  -n或--quiet或——silent：仅显示script处理后的结果；
  -V或--version：显示版本信息。

 

• sed命令：
  a\ 在当前行下面插入文本。
  4a\ 在第4行下面插入文本。
  i\ 在当前行上面插入文本。
  4i\ 在第4行上面插入文本。
  c\ 把选定的行改为新的文本。
  d 删除，删除选择的行。
  D 删除模板块的第一行。
  s 替换指定字符
  h 拷贝模板块的内容到内存中的缓冲区。
  H 追加模板块的内容到内存中的缓冲区。
  g 获得内存缓冲区的内容，并替代当前模板块中的文本。
  G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
  l 列表不能打印字符的清单。
  n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
  N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
  p 打印模板块的行。
  P(大写) 打印模板块的第一行。
  q 退出Sed。
  b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
  r file 从file中读行。
  t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
  T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
  w file 写并追加模板块到file末尾。  
  W file 写并追加模板块的第一行到file末尾。  
  ! 表示后面的命令对所有没有被选定的行发生作用。  
  = 打印当前行号码。  
  # 把注释扩展到下一个换行符以前

 

• sed替换标记：
  g 表示行内全面替换。  
  p 表示打印行。  
  w 表示把行写入一个文件。  
  x 表示互换模板块中的文本和缓冲区中的文本。  
  y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）
  \1 子串匹配标记
  & 已匹配字符串标记

 

• sed元字符集：
  ^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
  $ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
  . 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
  * 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
  [] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。  
  [^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
  \(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
  & 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。
  \< 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
  \> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
  x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。
  x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
  x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

 

2. 例子

• 直接编辑文件选项-i，会匹配file文件中每一行的book替换为books。其中/g表示匹配每一个，不加的话只匹配每一行中的第一个。
  sed -i 's/book/books/g' file
• 当需要从第N处匹配开始替换时，可以使用 /Ng：
  echo sksksksksksk | sed 's/sk/SK/2g
• 以上命令中字符 / 在sed中作为定界符使用，也可以使用任意的定界符，其中的s作用就是替换定界符：
  sed 's:test:TEXT:g'
  sed 's|test|TEXT|g'
• 定界符出现在样式内部时，需要进行转义：
  sed 's/\/bin/\/usr\/local\/bin/g'
• sed -i 's/book/books/g' | find . -name "*.xml"

 

 

• d为删除操作，删除空白行：
  sed '/^$/d' file
• 删除文件的第2行：
  sed '2d' file
• 删除文件的第2行到末尾所有行：
  sed '2,$d' file
• 删除文件最后一行：
  sed '$d' file
• 删除文件中所有开头是test的行：
  sed '/^test/'d file

 

• 文章开头提到的问题怎么写命令：
  find . -name '*.xml' -exec sed -i 's/hello/world/g' {} \;

  

• 其他sed命令使用方式参考：
  sed命令

 

二. xargs

• 这个命令其实还是要和上面的sed和find配合使用。只是这次不用find自带的exec。这个命令不止用在这里，可以用来连接很多命令。
• xargs 是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。
• xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。
• xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。
• xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。
• xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令。之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了 xargs 命令。

1. 使用方式

• somecommand |xargs -item  command
• -item可选：
  -a file 从文件中读入作为sdtin
  -e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。
  -p 当每次执行一个argument的时候询问一次用户。
  -n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。
  -t 表示先打印命令，然后再执行。
  -i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。
  -r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。
  -s num 命令行的最大字符数，指的是 xargs 后面那个命令的最大命令行字符数。
  -L num 从标准输入一次读取 num 行送给 command 命令。
  -l 同 -L。
  -d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符。
  -x exit的意思，主要是配合-s使用。。
  -P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。

2. 实例

• 文章开头例子：
  find . -name '*.xml' |xargs sed -i 's/hello/world/g'