linux 命令 awk,grep,sed

一.awk

1、由单引号括起来的字符都作为普通字符出现。特殊字符用单引号括起来以后，也会失去原有意义，而只作为普通字符解释

$ string=’$PATH’
$ echo $string

$PATH

2.由双引号括起来的字符，除$（美元符号）、\（反斜杠）、’（单引号）、和”（双引号）这几个字符仍是特殊字符并保留其特殊功能外，其余字符仍作为普通字符对待。
3.反引号括起来的字符串被shell解释为命令行，在执行时，shell首先执行该命令行，并以它的标准输出结果取代整个反引号（包括两个反引号）部分。
注意： 反引号是一个老的用法，$()才是新的用法，如例程中的$(seq 10)。无论是在学习中，还是在实际工作中，$()都是被推荐的用法。

$ TestString="$(echo $HOME) $(ls [nN]*)"
$ echo $TestString
/home/yxz note Notice

1.BEHIN,BODY,END

1.BEGIN语句块在程序开始的使用执行，它只执行一次，在这里可以初始化变量。
$ awk 'BEGIN{printf "Sr No\tName\tSub\tMarks\n"} {print}' marks.txt

Sr No Name Sub Marks
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87

2.BODY(必须省略）BODY语句块中的命令会对输入的每一行执行
$ awk '{printf "Sr No\tName\tSub\tMarks\n"} {print}' marks.txt

num name sub marks
1) Amit Physics 80
num name sub marks
2) Rahul Maths 90
num name sub marks
3) Shyam Biology 87

3.END语句块在程序的最后执行，它只执行一次
$ awk 'END {printf "Sr No\tName\tSub\tMarks\n"} {print}' marks.txt

1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
num name sub marks

2.

(1)打印某列或者字段
`$ awk '{print $3 "\t" $4}' marks.txt

Physics 80
Maths 90
Biology 87

(2)打印匹配模式的行，包含‘a’的行
awk '/a/' marks.txt等价于awk '/a/ {print $0}' marks.txt

2) Rahul Maths 90
3) Shyam Biology 87

(3)打印匹配模式的列
$ awk '/a/ {print $3 "\t" $4}' marks.txt

Maths 90
Biology 87

(4)统计匹配模式的行数
$ awk '/a/{++cnt} END {print "Count = ", cnt}' marks.txt

count= 2

(5)打印超过18个字符的行
$ awk 'length($0) > 18' marks.txt

3) Shyam Biology 87
`

3.操作符

(1)算数操作符
$ awk 'BEGIN { a = 50; b = 20; print "(a + b) = ", (a + b) }'

(a + b) = 70

(2)赋值操作符
$ awk 'BEGIN { name = "Jerry"; print "My name is", name }'
My name is Jerry

(3)增减运算符
$ awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'
a = 11, b = 11

(4)关系操作符
$ awk 'BEGIN { a = 10; b = 10; if (a == b) print "a == b" }'
a == b

(5)逻辑操作符
$ awk 'BEGIN {
num = 5; if (num >= 0 && num <= 7) printf "%d is in octal format\n", num
}'
5 is in octal format

(6)字符串连接操作符
$ awk 'BEGIN { str1 = "Hello, "; str2 = "World"; str3 = str1 str2; print str3 }'
Hello, World

(7)正则表达式操作符
正则表达式操作符使用 ~ 和 !~ 分别代表匹配和不匹配。匹配 9
$ awk '$0 ~ 9' marks.txt
2) Rahul Maths 90

正则表达式需要在表达式前后添加反斜线
.....|awk '/f.n/' .代表一个字符
awk '/^The/' ^代表以什么为开头
awk '/n$/' $表示以什么结尾
awk '/[CT]all/' [ ]表示C或T
* ：匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 *

$ echo -e "ca\ncat\ncatt" | awk '/cat*/'
ca
cat
catt

? ：匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。

$ echo -e "Colour\nColor" | awk '/Colou?r/'
Colour
Color

+：匹配前面的子表达式一次或多次

$ echo -e "111\n22\n123\n234\n456\n222" | awk '/2+/'
22
123
234
222

. ：匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 .
^ ：匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合
$：匹配输入字符串的结尾位置。

4.

ls | awk '{sum+=$6} END {print sum}'
END{}表示运行前
{}表示运行中
END{}表示运行后

-NF：每一行($0)拥有字段总数
-NR：目前awk处理的第几行
-FS：目前分隔符，默认是空白

cat 3.txt
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87

1.$ awk 'BEGIN{print "num\tname\tsub\tscore"} {print$0}' 3.txt
2.$ awk 'BEGIN{print "1\t2\t3\t4";cnt=0} {print$0;++cnt} END{print"count is:" cnt}' 3.txt
3.$ awk '/a/ {print $0;++cnt} END{print"count:" cnt}' 3.txt
4.$ awk '{print $0;cnt+=$4} END{print"sumof_a:" cnt}' 3.txt
5.$ awk '/a/ {print $0;sum+=$4;cnt++} END{avg=sum/cnt;print"sum_of_a:" sum;print"count:"cnt;print"avg:"avg}' 3.txt
2) Rahul Maths 90
3) Shyam Biology 87
sum_of_a:177
count:2
avg:88.5

6.$ awk '{if($4==90) print$0}' 3.txt
7.不显示某一列
awk ' { $2=null;print $0 }' 4
8.制定分格符，默认是空白（包括空格和\t等等…）
‘awk -F ':' '{cnt++;sum+=$NF} END{print "sum_of_this:" sum;print "lines:" cnt}' 2

二.grep

1.输出包含40:01的行
$ grep "40:01" 4.txt
2.输出不包含40:01的行
grep -v "40:01" 4.txt
3.使用正则表达式 -E 选项：
$ grep -E "^192" 4.txt
4.统计文件或者文本中包含匹配字符串的行数 -c 选项：
grep -c "40:01" 4.txt
5.输出包含匹配字符串的行号 -n 选项：
grep "40:01" -n 4.txt
6.在多级目录中对文本进行递归搜索：（# .表示当前目录,-n显示目录号
。）
grep "text" . -r -n
7.-i：忽略大小写
8.#显示匹配某个结果之后的3行，使用 -A 选项： 之前是-B: 前三行和后三行，使用 -C 选项：
grep "5" -n -A 3

三.sed

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

1.在testfile文件的第四行后添加一行，并将结果输出到标准输出，-i不显示输出：
sed -e 4a\newLine 2.txt
sed -e 4i\newLine 2.txt
2.以行为单位的新增/删除
将 2.txt的内容列出并且列印行号，同时，请将第 2~5 行删除！
nl 2.txt | sed '2,5d'
3.未完待续…