shell脚本编程中sed、awk、grep命令详解

引言

grep、sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点。在接下来的内容中,将会详细介绍三种命令的使用。

  • grep:grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。文本过滤器,如果仅仅是过滤文本,可使用grep,其效率比其他的高很多。(过滤文本)

  • sed:可以按行处理数据

  • awk:报告生成器,格式化以后显示。如果对处理的数据需要生成报告之类的信息,或者你处理的数据是按列进行处理的,最好使用awk。(处理列)

awk命令使用

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

  • awk使用标准格式
awk 选项参数 '{pattern + action}' {filenames}
选项参数含义
-F fs or --field-separator fs指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
-v var=value or --asign var=value赋值一个用户定义变量。
-f scripfile or --file scriptfile从脚本文件中读取awk命令。
-mf nnn and -mr nnn对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
  • 示例1
    源文件如下
    在这里插入图片描述
    取出文件某一列
    在这里插入图片描述
  • 示例2
    格式化输出
    在这里插入图片描述
  • 示例3

使用正则取出含有字母e的第一列以及第二列

在这里插入图片描述

  • 示例4
    awk内部使用if语句
    在这里插入图片描述
  • 示例5
    awk中使用循环
    在这里插入图片描述

awk具有丰富的内置变量可以使用

参数描述
ARGC命令行参数个数
ARGV命令行参数排列
ENVIRON支持队列中系统环境变量的使用
FILENAMEawk浏览的文件名
FNR浏览文件的记录数
FS设置输入域分隔符,等价于命令行 -F选项
NF浏览记录的域的个数
NR已读的记录数
OFS输出域分隔符
ORS输出记录分隔符
RS控制记录分隔符

grep使用

grep可以用于搜索文件中特定模式的子串
命令的标准使用格式为

grep [option] "string_to_find" filename

其中option中的常用的命令为

命令含义
-i忽略搜索字符串的大小写
-v取反,即输出不匹配的那些文本行
-n输出行号
-l输出能够匹配模式的文件名,相反的选项为-L
-q静默输出
  • 示例1
    搜索以we开头的行
grep "^we" test0.txt

运行结果为(其中^表示开头)
在这里插入图片描述

  • 示例2
    搜索不以we开头的字符串
grep -v "^we" test0.txt

在这里插入图片描述

  • 示例3
    统计匹配成功的行数
    在这里插入图片描述
  • 示例4
    匹配 以we开头的行,并显示行号
    在这里插入图片描述
  • 示例5
    统计匹配成功的次数

    其中源文件为
    在这里插入图片描述

sed使用

sed 【options】  ‘【command】’ 【filename】

其中options:

命令含义
-n抑制自动(默认的)输出 读取下一个输入行,-n要读取的行号
-e执行多个sed命令
-f运行脚本
-i编辑文件内容
-i.bak编辑的同时创造.bak的备份
-r使用扩展的正则表达式

其中command

命令含义
a在匹配后追加
i在匹配后插入
p打印
d删除
r/R读取文件/一行
w另存
s查找
c替换
y替换
h/H复制拷贝/追加模式空间(缓冲区)到存放空间
g/G粘贴 从存放空间取回/追加到模式空间
x两个空间内容的交换
n/N拷贝/追加下一行内容到当前
D删除\n之前的内容
P打印\n之前的内容
b无条件跳转
t满足匹配后的跳转
T不满足匹配时跳转
  • 示例1
    我对文件name.txt操作
    源文件内容如下所示
    在这里插入图片描述
    对源文件中的23替换为00
root@1032:~/shell/dirfor$ sed  -i 's/23/000/g' name.txt

修改之后结果为
在这里插入图片描述

  • 示例2
    在文件的行首添加id
root@1032:~/shell/dirfor$ sed -i  's/^/&id /g' name.txt

其中s表示在全文档中寻找,^表示行首位置,代码运行结果为
在这里插入图片描述

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值