grep命令,sed命令和awk命令

sed和awk是linux中两个功能非常强大的命令。过去经常使用到,但对他们的了解都是断断续续,现在总结一下,方便更加全面的了解和学习。

grep

grep命令用于查找文件里符合条件的字符串。
语法:

grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][–help][范本样式][文件或目录…]

参数如下

-a 或 --text : 不要忽略二进制的数据。
-A n:显示匹配到的字符串所在的行及其后n行,after
-b 或 --byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字符的编号。
-B n 显示匹配到的字符串所在的行及其前n行,before
-c 或 --count : 计算符合样式的列数。
-C n 显示匹配到的字符串所在的行及其前后各n行,context
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前,不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前,表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前,标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或–silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。

关于grep命令用法详细参考:https://www.cnblogs.com/flyor/p/6411140.html

sed (stream editor)

sed是一个非交互式文本编辑器。它从文本或者标准输入中读取数据,然后将其复制到缓冲区,读取命令进行编辑,重复此过程,知道所有命令执行完毕。

sed使用方式
sed <sed 命令> input-file > result-file

参数说明:

  • -f<script文件>或–file=<script文件> 以选项中指定的script文件来处理输入的文本文件。

  • -e<script>或–expression=<script> 以选项中指定的script来处理输入的文本文件。

  • -h或–help 显示帮助。

  • -n或–quiet或–silent 仅显示script处理后的结果,不打印所有行到标准输出。

  • -V或–version 显示版本信息。

动作说明:

a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
例如打印cpuinfo文件的第3-6行

[xinming@node01 proc]$ sed -n ‘3,6p’ cpuinfo
cpu family : 6
model : 79
model name : Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz
stepping : 1
[xinming@node01 proc]$

s :取代,可以直接进行取代的工作,通常这个 s 的动作可以搭配正规表示法,例如 1,20s/old/new/g 就是

awk

awk名称来自于(Aho, Weinberger和Kernighan)三个创造者名字首字母。能够方便的对结构化数据进行操作,并产生格式化输出的编程语言。

awk语句都是由 pattern 和 action组成。pattern(模式)是一组用于测试输入行是否需要执行动作的规则。action动作是包含语句,函数和表达式的执行过程。

选项参数

  • -F fs or --field-separator fs
    指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
  • -v var=value or --asign var=value赋值一个用户定义变量。
  • -f scripfile or --file scriptfile从脚本文件中读取awk命令。
  • -mf nnn and -mr nnn对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
  • -W compact or --compat, -W traditional or --traditional在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
  • -W copyleft or --copyleft, -W copyright or --copyright打印简短的版权信息。
  • -W help or --help, -W usage or --usage打印全部awk选项和每个选项的简短说明。
  • -W lint or --lint
    打印不能向传统unix平台移植的结构的警告。-W lint-old or --lint-old打印关于不能向传统unix平台移植的结构的警告。
[xinming@node01 proc
]$ awk '/^$/{print "this is a blank line."}' cpuinfo 
this is a blank line.
...
this is a blank line.

单引号中间’ '是awk命令。该命令分为两部分,由/隔开,^$部分是模式(正则表达式,表示空白行),花括号内是动作(print表示该动作时打印操作)。该命令表示cpuinfo中是空行,则打印"this is a blank line"

awk认为输入文件是结构化的,空格,Tab或者其他符号分隔,将文件分成不同的域。
每段域从1开始编号。$1:第一个域,$2:第二个域,$0:表示所有的域。

-F(大写F)指定分隔符,默认是空格。同时,还可以利用FS改变分割符.

[xinming@node01 proc]$ tail -5 cpuinfo | awk -F" " '{print $1}' 
clflush
cache_alignment
address
power

[xinming@node01 proc]$ tail -5 cpuinfo | awk 'BEGIN{FS=" "} {print $1}' 
clflush
cache_alignment
address
power

类似,awk也定义了关系运算符用于awk模式匹配:


运算符意义
<(=)小于(等于)
>(=)大于(等于)
==等于
!=不等于
~匹配正则表达式
!~不匹配正则表达式

使用示例。(查看/etc/passwd文件,此文件记录了Linux系统用户的关键信息,每一行记录用冒号分割)

 awk 'BEGIN {FS=":"} $1~/root/' /etc/passwd
(第一域 匹配root)
 awk 'BEGIN {FS=":"} $0~/root/' /etc/passwd
 (全部域匹配root)
 awk 'BEGIN {FS=":"} $0!~/nologin/' /etc/passwd
 (全部域不匹配nologin

为了方便进行多条件模式匹配,awk定义了布尔运算符


运算符意义
||逻辑或
&&逻辑与
!逻辑非

示例:

[xinming@node01 etc]$ awk 'BEGIN {FS=":"} {if($3==10 ||$4==10) print $0}' /etc/passwd
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
# 多条件精确匹配
[xinming@node01 etc]$ awk 'BEGIN {FS=":"} {if($3~10 ||$4~10) print $0}' /etc/passwd
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
# 多条件模糊匹配

awk的用法展示

1、打印文件的第一列(域) : awk ‘{print $1}’ filename

2、打印文件的前两列(域) : awk ‘{print $1,$2}’ filename

3、打印完第一列,然后打印第二列 : awk ‘{print $1 $2}’ filename

4、打印文本文件的总行数 : awk ‘END{print NR}’ filename

5、打印文本第一行 :awk ‘NR==1{print}’ filename

6、打印文本第二行第一列 :sed -n “2, 1p” filename | awk ‘print $1’

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值