【shell】shell脚本实战-awk基本介绍，不断提升自己创造溢价的能力

• awk的环境变量

• awk的运算符

• awk的内置字符串函数

前言

我们之前学习过grep，sed，这两个工具的作用如下：

grep和egrep：文本过滤的

sed：流编辑器，实现编辑的

今天我们要讨论的awk，是一个主要做文本输出的。

概念

AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter 、Weinberger和brian kernighan三个人的姓的缩写。

简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理

快速掌握awk的技巧：只要记住awk是以行为单位读入和输出的。

awk常用的选项和命令

| 参数 | 含义 |

| — | — |

| -F | 指定字段一个或多个分割符 例如:-F’[:#/]’ 定义三个分隔符 |

| -v | 定义或修改一个awk内部的变量 |

| NR | 行号 |

| FS | 字段的分隔符，默认为空格，跟-F选择一样 |

| OFS | 输出的字段分隔符，默认为空格(即把空格替换成指定的字符串) |

| RS | 输入记录的分割，以分割符分割之后，使之成为新的行（即读入行的时候遇到指定分隔符，就把分割替换成\n）。 |

| ORS | 输出的记录分隔符，默认为新行。（即读入行的时候遇到\n之后把\n用指定的分隔符代替，然后读入一行，并合并为同一行） |

| $NF | 表示最后一列 |

| $0 | 显示当前一整行 |

| $N | N为数字（N>0），表示第几列。例如：$1表示用-F指定分隔符分隔后的第一列， 2… 2… 2…N以此类推 |

| {} | 命令代码块，包含一条或多条命令 |

| ; | 多条命令使用分号分隔 |

| ~ | 匹配字段,与==相比不是精确比较 |

| !~ | 不匹配，不精确比较 |

| == | 等于，必须全部相等，精确比较 |

| > | 大于 |

| < | 小于 |

| >= | 大于等于 |

| <= | 小于等于 |

| != | 不等于，精确比较 |

| && | 逻辑与 |

| || | 逻辑或 |

| + | 匹配1个或1个以上 |

| // | 正则匹配符 |

| print | 输出、打印 |

awk的选项

| 选项 | 描述 |

| — | — |

| -f progfile --file=progfile | 从脚本文件中读取awk命令 |

| -F fs --field-separator=fs | 指定字段一个或多个分割符 例如:-F’[:#/]’ 定义三个分隔符 |

| -v var=val --assign var=val | 定义或修改一个awk内部的变量 |

| -b --characters-as-bytes | 将所有输入数据视为单字节字符。posix选项或覆盖这个选项 |

| -c --traditional | 在兼容模式下运行。在兼容模式下,gawk的行为与UNIX awk相同;没有一个可以识别特定于gn的扩展 |

| -C --copyright | 在标准输出和退出中成功打印GNU版权信息消息的简短版本 |

| -d[file]–dump-variables[=file] | 将全局变量的排序列表、它们的类型和最终值打印到文件中。如果没有提供文件，gawk使用一个名为awkvars的文件 |

| -e ‘program-text’–source=‘program-text’ | 使用程序文本作为AWK程序源代码。这个选项允许轻松地将库函数(通过-f和-file选项使用)与在命令行中输入的源代码混合使用。它主要用于shell脚本中使用的中型到大型AWK程序 |

| -E file --exec=file | 与-f类似，这是最后一个处理的选项。这应该与#一起使用!脚本，特别是为CGI应用程序，以避免从URL向命令行传递选项或源代码(!)。这个选项禁止命令行变量赋值 |

| -g --gen-pot | 扫描和解析AWK程序，并在标准输出上生成GNU .pot(可移植对象模板)格式文件，其中包含程序中所有可本地化字符串的条目。程序本身没有执行。 |

| -h --help | 简短的打印帮助 |

| -L [fatal] --lint[=fatal] | 提供关于可疑或不可移植到其他AWK实现的构造的警告 |

| -n --non-decimal-data | 识别输入数据中的八进制和十六进制值 |

| -N --use-lc-numeric | 使用句点作为小数点 |

| -O --optimize | 在程序的内部表示上启用优化。目前，这包括简单的常数合并 |

| -p[file] --profile[=file] | 将分析数据发送到PROFIX文件。默认值是DouthPo.OUT |

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。