awk基本用法简介

最新推荐文章于 2023-05-06 17:08:06 发布

sjhfkhsf

最新推荐文章于 2023-05-06 17:08:06 发布

阅读量233

点赞数

本文链接：https://blog.csdn.net/sjhfkhsf/article/details/84193706

版权

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

之前说过sed, 今天来说awk, 它也是一个文本处理器，是linux下的一个命令，比sed更强大。搞linux开发，尤其是后台开发，这个命令几乎必须要用到。 awk这三个字母分别代表其三位作者的名字，而不是某个/某些有意义单词的缩写。

还是那句话，以实践操作为荣，以只看不练为耻。当然，理解awk的原理是必须的：读入有'\n'换行符分割的一条记录，将记录按指定的域分隔符划分域，$0表示所有域, $1表示第一个域, $n表示第n个域。默认域分隔符是空格键或tab键。

鉴于awk涉及的东西太多，所以本文中，我们仅仅介绍基本的用法，以后遇到了新的东东，再添加到本博文中，滚雪球似地积累。

先来感受一下awk, 我们假设test.txt中的内容：

xxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   Fantastic

之前，我们用sed来输出行，现在，我们来感受一下用awk输出列, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$

看到了吧，这就是awk. 注意上面只能是单引号，不能是双引号， $2表示第二列。

我们来看看awk的一般格式：awk [option] 'pattern {action}' test.txt, 比如上面的awk '{print $2}' test.txt, 此时，采用默认选项，且条件永远为真。

下面，我们根据awk的原型来一一说明：

A.awk

其实awk就相当于一个函数名，没什么好说的了。

B. option

我们先看如下操作，打印test.txt文件的第二列：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk

可以看到，命令中没有选项，也就是采用了默认选项，现在假设a.txt中的文件内容为：

xxx|Math|English|C++|ExperimentMonkey|100|90|95|GoodCat|80|100|60|PerfectDog|90|60|70|GreatTiger|95|85|90|Fantastic

我们再用awk '{print $2}' a.txt就不灵了，为什么呢？因为awk '{print $2}' a.txt的选项为空，默认的是以空格为分隔符，显然不能进行划分。那怎么办呢？此时，我们应该显式地指明分隔符，如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk -F "|" '{print $2}' a.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$

这就对了。好了，后续我们仍然针对test.txt，不针对a.txt. 也就是说，采用默认的选项。

C. pattern

这个最好理解了，比如，条件就是一种模式(但模式不仅仅是条件，有可能是一些正则表达式等)。我们看到，在awk '{print $2}' test.txt中，是无条件的，所谓无条件即为真。日本无条件投降，大概就是这个意思。当然，为了讲清楚条件，我们还是来看看：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '1<2 {print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$ awk '1<1 {print $2}' test.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

我们看到，当条件为真的时候，才会有真正的打印，反之，打个屁。如果要打印整个文件，可以这么搞：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '1' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '0' test.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

可以看看到，条件为真，有打印。否则，没有打印。

D. action

这个好理解，无非就是内置命令而已，比如print $2, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$

当然，如果你喜欢C/C++语言格式，那完全可以写成：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%s\n", $2)}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$

实际上，在pattern部分，我们是可以用C/C++语言的if等关键字的，如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{if(1<2) printf("%s\n", $2)}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{if(1<1) printf("%s\n", $2)}' test.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

我们看到， awk看似很小，其实五脏俱全。弄清了上面的基本构成， awk就算基本入门了。既然已经与awk有了初步的恋爱感觉了，那就要趁热打铁的练习一下。

一. awk的内置变量

1. $0表示整行， $n表示第n个分段，如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $0}' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$

再如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $1, $3}' test.txtxxx EnglishMonkey 90Cat 100Dog 60Tiger 85Administrator@51B6904C3C8A485 ~/learn_awk$

2. FILENAME表示文件名称，比如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%s\n", FILENAME)}' test.txttest.txttest.txttest.txttest.txttest.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

可以看到，文件名被打印出来了，为什么是5个呢？因为awk是逐行处理的。

3. NR是当前的行数，可以理解为number of row, 当然，如果你非要说now row这样的中式英语，那也可以。总之，你要明白， NR很有用。如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%d:%s\n", NR, FILENAME)}' test.txt1:test.txt2:test.txt3:test.txt4:test.txt5:test.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

那要创建test1.txt---test5.txt怎么搞呢？也很简单，联合我们之前介绍过的xargs, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%s%d\n", FILENAME, NR)}' test.txt | xargs touchAdministrator@51B6904C3C8A485 ~/learn_awk$ lstest.txt  test.txt1  test.txt2  test.txt3  test.txt4  test.txt5Administrator@51B6904C3C8A485 ~/learn_awk$

4. FNR是文件中的行数，和NR还是有点小小区别的，且看：

Administrator@51B6904C3C8A485 ~/learn_awk$ cp test.txt test_bak.txtAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%d:%d:%s\n", NR, FNR, FILENAME)}' test.txt test_bak.txt1:1:test.txt2:2:test.txt3:3:test.txt4:4:test.txt5:5:test.txt6:1:test_bak.txt7:2:test_bak.txt8:3:test_bak.txt9:4:test_bak.txt10:5:test_bak.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

5. NF表示当前行有多少个段，学这些东西的时候，不要死记，要知道NF是number of field的缩写，那就清晰了，如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ echo "good good study" | awk '{print NF}'3Administrator@51B6904C3C8A485 ~/learn_awk$

可见有3个段，下面我们看看test.txt的每行是不是有5个段：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print NF}' test.txt55555Administrator@51B6904C3C8A485 ~/learn_awk$

果然如此。

6. FS是filed seperator, 也就是段分割符号，默认情况下为空格，下面我们不用默认的，而用"|", 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk -F "|" '{print FS}' test.txt|||||Administrator@51B6904C3C8A485 ~/learn_awk$

当然，还有其他的一些内置变量，在此就不一一举例了，以后要用的时候，一查便知。

二. 常见的一些pattern

1. 条件式的pattern, 我们其实已经熟悉了，比如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '1' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '1<=1' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '1<=0' test.txtAdministrator@51B6904C3C8A485 ~/learn_awk$

2. 来个复杂一点的条件pattern, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk 'length > 30' test.txtxxx     Math English C++  ExperimentCat     80    100    60   PerfectDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$

3. 继续条件pattern, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '$1=="Cat"' test.txtCat     80    100    60   PerfectAdministrator@51B6904C3C8A485 ~/learn_awk$

继续加个条件：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '$1!="Cat" && $3>=85' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$

4. 打印第2-4行：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk 'NR>=2 && NR<=4 {print $0}' test.txtMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

别忘了，我们的sed也可以, 也蛮牛逼的:

Administrator@51B6904C3C8A485 ~/learn_awk$ sed -n "2,4"p test.txtMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

好了，条件式的pattern我们介绍到这里，下面我们介绍与正则表达式有关的一些pattern.

5. 行过滤，类似于grep的功能，如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '/Cat/' test.txtCat     80    100    60   PerfectAdministrator@51B6904C3C8A485 ~/learn_awk$

对了，sed也有类似功能，如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ sed -n "/Cat/"p test.txtCat     80    100    60   PerfectAdministrator@51B6904C3C8A485 ~/learn_awk$

6. 那能不能实现grep -v的功能呢？肯定可以，如果你认为不能，那太小看awk了，且看：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '!/Cat/' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodDog     90    60     70   GreatTiger   95    85     90   FantasticAdministrator@51B6904C3C8A485 ~/learn_awk$

7. 输出以xxxxxx开头的行：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '/^C/' test.txtCat     80    100    60   PerfectAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '/^(C|D)/' test.txtCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

8. 输出以xxxxxx结尾的行：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '/t$/' test.txtxxx     Math English C++  ExperimentCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

9. 自然而言地，在一个pattern里，我们可以既有正则又有条件，如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '/100/ && $4 >= 60' test.txtMonkey  100   90     95   GoodCat     80    100    60   PerfectAdministrator@51B6904C3C8A485 ~/learn_awk$ awk '/100/ && $4 > 60' test.txtMonkey  100   90     95   GoodAdministrator@51B6904C3C8A485 ~/learn_awk$

10. 最后再来一个：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '/^x/, /^D/' test.txtxxx     Math English C++  ExperimentMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

当然了， sed肯定也有此功能，不信你就翻翻我之前的博文。

三. 常见的一些action, 实际上主要是内置函数

1. 最常见的print, printf, 如下：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print $2}' test.txtMath100809095Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{printf("%d\n", $2)}' test.txt0100809095Administrator@51B6904C3C8A485 ~/learn_awk$

2. 在action中也可以有种逻辑，比如打印第2-4行：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{if(NR>=2 && NR<=4) print $0}' test.txtMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

当然，你也可以把这个if条件移动到pattern中去，如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk 'NR>=2 && NR<=4 {print $0}' test.txtMonkey  100   90     95   GoodCat     80    100    60   PerfectDog     90    60     70   GreatAdministrator@51B6904C3C8A485 ~/learn_awk$

3. 计算字符串长度，相当于C/C++中的length函数

Administrator@51B6904C3C8A485 ~/learn_awk$ echo "good good study" | awk '{print length}'15Administrator@51B6904C3C8A485 ~/learn_awk$

再如：

Administrator@51B6904C3C8A485 ~/learn_awk$ awk '{print length}' test.txt3630333135Administrator@51B6904C3C8A485 ~/learn_awk$

实际上， awk还有很多内建的函数。本文无法覆盖awk的所有内容，仅仅提供冰山一角的一些东东，但供入门肯定是没有问题的。后续会更根据实际，对本文进行逐渐补充和完善。

肚子饿了，该吃饭了。

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow

sjhfkhsf

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
awk基本用法简介

awk基本用法简介
复制链接

扫一扫