2018-11-14 直播课笔记（grep、sed、awk习题）

截取

[abcfd]

123

324

444

[rty]

这一部分出来

sed -n '/\[abcfd\]/,/\[rty\]/p' test.txt    或者

sed -rn '/(abcfd)/,/(rty)/'p test.txt

 

sed 如何转换大小写字母

1. 把每个单词的第一个小写字母变大写：

sed中，使用\u表示大写，\l表示小写，\b表示边界，&表示前面//里面的内容

sed 's/\b[a-z]/\u&/g' filename

2. 把所有小写变大写：

sed 's/[a-z]/\u&/g' filename

3. 大写变小写：

sed 's/[A-Z]/\l&/g' filename

 

sed在文件中某一行最后添加一个数字

sed 's/\(^a.*\)/\1 12/' test.txt   或者  sed -r 's/(^a.*)/\1 12/' test.txt

 

 

sed删除某关键字的下一行到最后一行

sed '/c/{p;:a;N;$!ba;d}' test.txt

定义一个标签a，匹配c，然后N把下一行加到模式空间里，匹配最后一行时，才退出标签循环，然后命令d，把这个模式空间里的内容全部清除。

 

if 匹配"c"

:a

追加下一行

if 不匹配"$"

goto a

最后退出循环，d命令删除。

 

 

 

N 当在sed中遇到N，会将下一行连带当前行汇总在一起处理

sed -n '/root/{N;p}' /etc/passwd

 

P 只打印模式空间中第一个\n前面的部分

 

D 和P类似，它只删除模式空间中第一个\n前面的部分

 

 

 

打印1到100行含某个字符串的行 

sed  -n '1,100{/root/p}'  /etc/passwd

 

 

awk 中使用外部shell变量

a=3; echo "a:b:c:d"|awk -F ":" -v get_a=$a '{print $get_a}'    

说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。

有多少个变量需要赋值，就需要多少个-v选项。与之等价的

 

 

 

awk 合并一个文件 

awk '{print NR,FNR}' 1.txt  2.txt //首先理解NR和FNR的不同

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

当NR==FNR其实就是第一个文件的内容

当NR>FNR，其实就是第二个文件的内容

解释：NR表示读取的行数， FNR表示读取的当前行数，大家可以运行这个命令 awk '{print NR,FNR}' 1.txt  2.txt，比较NR和FNR

所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候

数组a其实就相当于一个map

 

把一个文件多行连接成一行

方法一：

a=`cat file`;echo $a

方法二：

awk '{printf("%s ",$0)}' file

方法三：

cat file |xargs

 

 

awk 'gsub(/root/,"abc")' /etc/passwd  // passwd文件中把所有root替换为abc

awk 'sub(/root/,"abc")' /etc/passwd  // passwd文件中把每一行第一次出现的root替换为abc

 

awk -F ':' 'gsub(/root/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的root为abc

 

 

grep 或 egrep 或awk 过滤两个或多个关键词

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行

egrep '123|abc' filename    //用egrep同样可以实现

awk '/123|abc/'  filename // awk 的实现方式

 

 

用awk生成以下结构文件

awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S"))}'

 

awk用print打印单引号

awk 'BEGIN{print "a'"'"'s"}'

awk 'BEGIN{print "a'\''s"}'

awk 'BEGIN{print "a\"s"}'

 

求和/etc/passwd第三段数字的和

awk -F ":" '{print $3}' /etc/passwd                                               //列出第三段的数值

awk -F ":" '{print $3}' /etc/passwd |xargs                                    //把一个文件多行连接成一行

awk -F ":" '{print $3}' /etc/passwd |xargs |sed 's/ /+/g'              //把数值用+连接起来

awk -F ":" '{print $3}' /etc/passwd |xargs |sed 's/ /+/g' |bc        //求和

 

 

 

合并两个文件 http://ask.apelearn.com/question/945

awk的BEGIN和END http://blog.51cto.com/151wqooo/1309851

awk的参考教程 http://www.cnblogs.com/emanlee/p/3327576.html

转载于:https://my.oschina.net/u/3991860/blog/2876667