第五节sed与awk
简介
这节课讲sed和awk,这两个可能是在写脚本,尤其是监控脚本最常用到的两个命令了,所以按照传统,我们讲一下三剑客,这几个命令其实都有超级复杂的用法,但是本着学以致用的原则,我们就介绍我们最常接触的
sed
sed属于流媒体编辑器(stream editor),我们可以用它编辑任何我们想编辑的东西(键盘输入,文本,管道,字符串,变量),这里我们只研究简单的场景,下面看下常见的代码,pattern代表正则表达。
>>> echo 'hello word' |sed 's/word/world/'
>>> sed 's/pattern/replace_string' file #将file中的字符1全部替换成字符2
>>> sed '2,5s/pattern/replace_string' file #将file第2行到第5行进行字符替换
>>> cat file | sed 's/pattern/replace_string'
>>> sed 's/pattern/replace_string' file >newfile #将修改结果重定向到一个新文件
>>> sed -i 's/pattern/replace_string' file #将修改结果到源文件
>>> sed 4a\newline testfile #使用sed 在第四行后添加新字符串
>>> sed '2d' testfile #删除第二行
>>> sed '2,5d' testfile #删除第2到第5行
>>> sed '3,$d' testfile #删除第3到最后一行
>>> sed '2a hellworld' #在第2行后加 注意上面的4a\newline的写法
>>> sed '2i hellworld' #插在第二行前变成第二行
>>> sed '2c helloworld' #第二行内容用helloworld取代
>>> sed -n '5,7p' testfile #仅打印5到7行的字符串
>>> sed -n '/aNum/p' testfile #仅打印包含aNum字符串的行
>>> sed '/aNum/a/helloworld' testfile #将所有包含aNum字符串的行后面加上helloworld作为一行
>>> sed '/helloworld/d' testfile #将包含helloworld的行删除
>>> sed -i 's/\.$/\!/g' test.txt #利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
>>> sed -i '$a This is a test'test.txt #利用 sed 直接在 regular_express.txt 最后一行加入 # This is a test
>>> sed -i.bak 's/\.$/\!/g' test.txt #实际生产环境推荐用法,写脚本推荐用法
sed替换文件内的字符串是我们最常见的,如上命令仅仅会替换到每行的第一个匹配,如果一行只有一个匹配那自然没问题,如果一行存在多个匹配的时候呢,我们就要使用如下的方法:
>>> echo 'hello word word word word' |sed 's/word/world/g' #匹配所有的word
>>> echo 'hello word word word word' |sed 's/word/world/2g' #匹配前1
>>> echo 'hello word word word word' |sed 's/word/world/Ng' #匹配N-1个
>>> sed -e 's/brown/green/; s/dog/cat/' data1.txt #复合用法
sed 脚本
sed本身是支持自己的语法的,解释器即是sed,本文只写个简单的例子,另外sed就抠到这里,sed的某些用法也许一辈子也用不到
>>> cat script1.sed
s/brown/green/
s/fox/elephant/
s/dog/cat/
>>> sed -f script1.sed testfile #将sed脚本作用于某个文件
>>> ./script1.sed testfile
sed常见选项
选项太多,大家下去自行使用体会
a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除,删除选择的行。
D 删除模板块的第一行。
e 按顺序匹配并操作
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容,并替代当前模板块中的文本。
G 获得内存缓冲区的内容,并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
w file 写并追加模板块到file末尾。
W file 写并追加模板块的第一行到file末尾。
! 表示后面的命令对所有没有被选定的行发生作用。
= 打印当前行号码。
# 把注释扩展到下一个换行符以前
awk
awk也是我讨厌的命令之一,它很强大,但是复杂的用法着实让人记不住,当然它是个优秀的软件,所谓三大命令之首,awk脚本的结果基本如下:
awk 'BEGIN{print “start”} pattern {commands} END{print “end”}'
工作原理
1.先执行BEGIN{commands}语句块。这个语句块是可选的
2.从文件或者管道或者其他等等方式中读取一行,然后执行pattern,重复这个过程,直到读取完毕
3.执行END{commands}语句块。这个语句块是可选的
4.print 参数是 以逗号作为分隔符,参数打印时是以空格作为定界符
看如下例子:
>>>echo -e "line1\nline2" |awk 'BEGIN{print "start"} {print} END{print "END"}'
>>>echo -e "hello world" |awk 'BEGIN{print "start"} {print $1} END{print "END"}'
>>>echo -e "hello world" |awk '{print $1}' #当然这是我们最常用的,省略了begin和end
特殊变量
awk有一些特殊变量,就像上面的$1,这些变量集中整理一下,当然这个使用起来是比较简单的,只要知道NR,NF这两个特殊的就行了,后面的命令演示都会用到
特殊变量 | 描述 |
---|---|
NR | 表示记录数量,在执行过程中对应于当前行号 |
NF | 表示字段数量,在执行过程中对应当前行的字段数 |
$0 | 这个变量包含执行过程当前行的内容 |
$1 | 这个变量包当前行的第一个字段 |
FS | 输入隔断符号 |
OFS | 输出分隔符 |
RS | 输入行分隔符 |
ORS | 输出行分隔符 |
awk选项
选项 | 选项 |
---|---|
-F fs 指定输入文件折分隔符 | -v var=value 赋值一个用户定义变量。 |
-f scripfile 从脚本文件中读取awk命令 |
例子演示
>>> ps axu |awk '{print $1,$4}'
>>>cat /etc/passwd |awk '{print $1,$3}'
>>>cat /etc/passwd |awk -F: '{print $1,$3}' #看下和如上命令结果有何不同
>>>awk -F: '{printf "%-8s %-8d\n",$1,$3}' /etc/passwd #格式化输出,大家尽量理解下格式化的意思
------带上BEGIN---------
>>> awk 'BEGIN{FS=":"}{print $1,$3}' /etc/passwd #感受下BEGIN的作用
>>> awk 'BEGIN{FS="[:/]"}{print $NF}' /etc/passwd #先用:做分割,再用/做分割,感受下不同,也记住这诡异的语法
>>> awk -F: 'BEGIN{print "用户 ID"}$3>=1000{print $1,$3}' /etc/passwd #打印用户id>=1000的用户,这里体验一下运算符号(==,>,<,>=,<=)
>>> awk -F: 'BEGIN{OFS="|";print "用户 ID"}$3>=1000{print $1,$3}' /etc/passwd #输出内容自定义分隔符
>>> awk -F: '$1=="root" || $1=="capricorn" {print $1,$3}' /etc/passwd #打印用户root和capricorn的ID
>>> awk -F: '/^ssh/ {print $0}' /etc/passwd #打印ssh开头的行,这里体验一下针对整行的正则表达式
>>> awk -F: '$NF ~ /nologin/ {print $1,$3,$NF}' /etc/passwd #输出最后一个字段包含nologin的用户名和ID,感受下如果针对某一个字段进行正则
>>> awk 'BEGIN{FS=":";print "特殊用户"}$1 ~/root/ {print $NF}' /etc/passwd
>>> ls -l *.md|awk '{sum+=$5} END{print sum}' #查找所有md文件并计算总大小
>>> echo "hello world " |awk -v hostname=$HOSTNAME '{print $1,hostname}'#从外界传递变量到awk
awk输出个格式化
输出格式化对程序来说不是很必要,格式化主要是为了给人看的,下面大家感受下格式化就行了,这部分不打算展开,大家感受下如下代码,注意这里不是print,是printf,另外注意理解格式化语句,“\n”代表换行,我开始就吃着亏了,一定记得加上。
awk -F: 'BEGIN{printf "%-16s %8s\n","用户","ID"}{printf "%-16s %-8s\n",$1,$3}' /etc/passwd
awk脚本
awk脚本编程老实说是比较复杂的,因为它有自己的语法,这显然增加了学习压力,其实我不太建议上来就研究这么深,如果有需要配合百度琢磨琢磨也就差不多了。
假设有这么一个文件(学生成绩表),懒得复制也可以直接下载score.txt
$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
我们的awk脚本如下,这段代码包含了awk脚本的写法,脚本的格式化,运算符,是一个不错的例子,当然是我网上抄的,代码尽量自己敲,下载1-05-01.awk
$ cat cal.awk
#!/usr/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
>>> ./1-05.01.awk score.txt #执行脚本获取结果
总结 awk还是不少其他的用法,比如带for循环,比如各种各种的运算表达式,当然目前学的太深好处也不明显(笔者也没研究那么深),大家学的时候要记住技巧,awk的常规格式,这些格式的执行过程是咋样的,如果变成脚本来使用,知道这些原理,具体的细节一旦忘记直接百度查查,基本上就可以满足工作需要,另外技术还是熟能生巧的道理,相信各位一定比笔者用的多,自然未来也会比我更熟悉,这里提供一个超详细的awk讲解
课后练习
1、把如下文件的里面的盗链IP筛选出来(包含Pcontent_id=&字段的行的Ip),筛选并输出出来,并验证方法的有效性测试文件
2、某人写了一个脚本,但是脚本的内容实在是太多了,错误地方也太多了,尝试使用sed修复这个脚本,要求:
a:把所有行中的echoo都换成echo
b:把“*”开头的都换成“#”开头
c:去掉语句中间的#
d:把脚本中的2000改成1000
e:把所有的"."都删除掉
f:最终正确执行代码
#!/bin/bash
*author timo
* 1-05sedtest.sh
*date 2019.03.19
echoo "大家好,我第一次写脚本".
CON=2000
echoo "我最喜欢的数字是其实小于两千,请问$CON对吗,".
echoo "我不小心敲了#井号,请问去掉了吗"
#echo 这个注释不去掉哦如果你看到我证明你失败了