Linux学习笔记-----1 awk命令小结

awk小结：

1 awk的原理

概要：awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

1. 读输入文件之前执行的代码段（由BEGIN关键字标识）。
2. 主循环执行输入文件的代码段。
3. 读输入文件之后的代码段（由END关键字标识）

demo1基础案例：

demo1.txt

1) 张三 语文 80

2) 李四 数学 90

3) 王五 英语 87

执行命令

1 awk 'BEGIN{ print "序号\t名字\t课程\t分数" } {print} END{ print "成绩报告打印完成" }' demo1.txt 
2 awk 'BEGIN{ print "成绩打印如下：\n序号\t名字\t课程\t分数" } {print} END{ print "成绩报告打印完成" }' demo1.txt 
3 awk 'BEGIN{ print "成绩打印如下：\n名字\t课程" } {print $2,'\t',$4} END{ print "成绩报告打印完成" }' demo1.txt 

配合管道符使用： 
1 cat demo1.txt | awk 'BEGIN{ print "Start" } { print } END{ print "End" }'

结果

序号 名字 课程 分数 
1) 张三 语文 80 
2) 李四 数学 90 
3) 王五 英语 87 
成绩报告打印完成

带参数

1 管道符配合使用
echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }' 
v1 v2 v3

2 echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }'
v1=v2=v3

2 awk的内置变量

$n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。 
$0 这个变量包含执行过程中当前行的文本内容。

[A] FILENAME 当前输入文件的名。

[A] F 字段分隔符（默认是任何空格）。

[A] NF 表示字段数，在执行过程中对应于当前的字段数。
[A] NR 表示记录数，在执行过程中对应于当前的行号。
[A] OFMT 数字的输出格式（默认值是%.6g）。
[A] OFS 输出字段分隔符（默认值是一个空格）。
[A] ORS 输出记录分隔符（默认值是一个换行符）。
[A] RS 记录分隔符（默认是一个换行符）。

案例

demo2.txt
张三 英语 60
李四 英语 70
王五 英语 80

命令：配合awk的变量使用

0 cat demo2.txt | awk -F ' ' '{print $2}'
1 cat demo2.txt | awk '{print "Line No:"NR", 列数:"NF, $0}'
2 cat demo2.txt | awk '{print "Line No:"NR", 列数:"NF, "整行内容"$0, "名字="$1, "科目="$2, "分数="$3}'
增加 EDM模块
3 cat demo2.txt | awk '{print "Line No:"NR", 列数:"NF, "整行内容"$0, "名字="$1, "科目="$2, "分数="$3} END{print "END命令只输出一次" }'

外部变量使用

使用-v命令指定外部变量
1 echo "" | awk -v v11=$var1 '{ print v11 }'
把变量放在后面
2 echo "" | awk '{ print v1,v2 }' v1=$var1 v2=$var2

3 awk还提供了一系列内置的运算函数

算术运算符

运算符	描述
+ -	加，减
* / &	乘，除与求余
+ - !	一元加，减和逻辑非
^ ***	求幂
++ --	增加或减少，作为前缀或后缀

赋值运算

运算符	描述
= += -= *= /= %= ^= **=	赋值语句

逻辑运算

运算符	描述
||	逻辑或
&&	逻辑与

正则运算符

运算符	描述
~ ~!	匹配正则表达式和不匹配正则表达式

demo

1 awk 'BEGIN{a=0;print a++,++a;}'

2 awk 'BEGIN{a=6;b=2;print (a>5 && b<=2),(a>6);}'

3 awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok是100开头的字符串";}}'

4 其他高级用法：

1 next用法

案例1
cat demo4.txt 
a
b
c
d
e
awk 'NR%2==1{next}{print NR,$0;}' demo4.txt 

案例2：正则+next的用法：把含有张的记录去掉
cat demo5.txt
张三 80
李四 90
王五 100
张四 110
张五 120
awk '/^张/{next;}{print}' demo5.txt

2 配合getline函数使用：通过管道符输入获取一行并输出

1 awk 'BEGIN{ "date" | getline out; print out }' test

2 awk 'BEGIN{ "cat demo5.txt" | getline out1; print out1 }' test

3 awk 'BEGIN{print "Enter your name:";getline name;print name;}'

3 文本输出

echo "" | awk '{printf("hello word!n") > "res3.txt"}' 

4 流程控制

① if判断

1 语法：
if(表达式)
  {语句1}
else if(表达式)
  {语句2}
else
  {语句3}

2 demo:   
 
awk 'BEGIN{
test=100;
if(test>90){
  print "very good";
  }
  else if(test>60){
    print "good";
  }
  else{
    print "no pass";
  }
}'

② 循环

语法
while(表达式)
  {语句}
  
2 demo
awk 'BEGIN{
test=100;
total=0;
while(i<=test){
  total+=i;
  i++;
}
print total;
}'