Linux三剑客

Linux三剑客grep sed awk的区别

首先了解下三剑客的使用范围
grep：普通搜索，主要用于搜索关键字
sed：每次读入一行来处理的，sed 适合简单的文本替换和搜索，sed读取一行，以行作为单位，进行处理。
awk：每次读入一行来处理的（同sed），但awk读取一行，切割成字段，以字段为单位，进行细节处理。

grep

grep根据用户指定的模式（pattern）对目标文件进行过滤，显示被模式匹配到的行
grep 操作选项 pattern 文件

操作选项  |  含义
-v | 显示不被pattern匹配到的行
-i |  忽略字符大小写
-n |  显示匹配的行号
-c | 统计匹配的行数
-o | 仅显示匹配到的字符串
-E | 使用扩展正则表达式
-A -B -C |打印命中数据的上下文

*注：grep 操作选项 pattern 文件
举例说明

• 1.查找文件中包含root的行数： grep -c ‘root’ 文件名
• 2.查找文件内容不包含root的行： grep -vn root 文件名
• 3.查找以s开头的内容： grep ^s 文件名
• 4.搜索以t结尾的内容： grep t$ 文件名
• 5.grep pattern -r dir /递归搜索

sed

sed是流编辑器，一次处理一行内容
sed -e 脚本 文本文件 以选项中指定的script来处理输入的文本文件

动作    |    含义    |    举例    |
a    |新增|    sed -e '行号 a 新增内容‘ 文件名    | 使用新内容替换第几行
c    |取代|    sed -e '2,5c 新内容' | 新内容取代2-5行
d    |删除|    sed -e '2,5d'| 删除2-5行
i    |插入|    sed -e '2i 内容' | 第2行前面插入新行
p    |打印|    sed -n '/root/p'| 打印匹配到root的内容CEN
s    |全部替换| sed -e '/s/old/new/g' | 用new取代old

*注：sed常用动作，-e只对模式空间进行操作，不对源文件修改
举例说明

• 1.在第四行添加新字符串：sed -n ‘4 a 新内容’ 文件名
• 2.使用hello全局替换root：sed -e ‘s/root/hello/g’ 文件名
• 3.-i直接修改文件内容： sed -i ‘s/root/hello/g’ 文件名

awk

把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行后续处理
形式： awk ‘pattern {action}’ 文件名
pattern：正则表达式

参数 | 含义
BEGIN | 处理文本之前要执行的操作
END | 处理文本之后要执行的操作
F | 设置分隔符
NF | 列数
NR | 行数
RS | 控制返回记录的分隔符，标识换行的标志
$0 | 返回整条记录
$1 | 返回分割的第一列

awk pattern 语法

awk 'BEGIN{}END{}'    开始和结束
awk '/Running'  正则匹配
awk '/aa/,/bb/'  区间选择

举例说明

• 1.搜索./passwd有root关键字的所有行，并显示对应的shell
  awk -F : ‘/root/{print $0}’ ./passwd
• 2.打印./passwd的第二行信息
  awk -F : ‘NR == 2{print $0}’ ./passwd
• 3.编写一个awk脚本，打印文件第八行
  awk ‘NR==8{print $0}’ 文件名
• 4.使用begin加入标题
  awk ‘BEGIN{print “BEGIN,BEGIN”}{print $1, $2}’ 文件名
• 5.自定义分隔符
  echo “123|456|789” | awk ‘BEGIN{RS="|"}{print $0}’
• 6.编写一个awk脚本，功能是打印所有行
  awk ‘{print $0}’ 文件名
• 7.用awk命令打印文件所有行的第一个字段
  awk -F ‘:’ ‘{print $1}’ 文件名
• 8.打印输入行总数
  awk ‘END{print NR}’ 文件名
• 10.打印每行字段数
  awk -F : ‘{print NF}’ 文件名
• 11.打印最后一行
  awk ‘END{print $0}’ 文件名
• 12.打印字段数多于4个的行
  awk -F : ‘{if(NF>4){print $0}}’ 文件名
• 13.打印文件所有字段的总数
  awk -F: ‘{num+=NF}{print num}’ 文件名
• 14.打印3 - 8行
  awk ‘{if(NR>=3 && NR<=8){print $0}}’ 文件名
• 15.在文件顶部加上标题“Document”
  awk ‘BEGIN{print “Document”}{print $0}’ 文件名
• 16.隔行删除(1, 3, 5, …行删除)
  awk ‘{if(NR%2==0){print $0}}’ 文件名
• **17.查找system替换成SYSTEM **
  awk ‘gsub(“system”,“SYSTEM”){print $0}’ 文件名
• 18.取ifconfig eth0 的IP
  ifconfig | awk ‘/inet /{print $2}’ | awk ‘{if(NR==2){print $0}}’
• 19.打印一列数字的总和
  seq 100 | awk ‘BEGIN{sum=0}{sum+=$0}END{print sum}’