第12章、 正规表示法与文件格式化处理

12.1. 前言： 什么是正规表示法
正规表示法 (Regular Expression)

12.1.1. 什么是正规表示法
正规表示法重要因为日常生活就使用的到！
简单的说，正规表示法就是处理字符串的方法，他是以行为单位来进行字符串的处理行为， 正规表示法透过一些特殊符号的辅助，可以让使用者轻易的达到『搜寻/删除/取代』某特定字符串的处理程序！
假设你发现系统在开机的时候，老是会出现一个关于 mail 程序的错误， 而开机过程的相关程序都是在 /etc/init.d/ 底下，也就是说，在该目录底下的某个档案内具有 mail 这个关键词，你想要将该档案捉出来进行查询修改的动作。此时你如果了解正规表示法的相关技巧，那么只要一行指令就找出来了：『grep ‘mail’ /etc/init.d/*』 那个 grep 就是支持正规表示法的工具程序之一！
正规表示法基本上是一种『表示法』， 只要工具程序支持这种表示法，那么该工具程序就可以用来作为正规表示法的字符串处理之用。 例如 vi, grep, awk ,sed 等等工具，因为她们有支持正规表示法， 所以，这些工具就可以使用正规表示法的特殊字符来进行字符串的处理。但例如 cp, ls 等指令并未支持正规表示法， 所以就只能使用 bash 自己本身的通配符而已。

12.1.2. 正规表示法对于系统管理员的用途
12.1.3. 正规表示法的广泛用途
正规表示法除了可以让系统管理员管理主机更为便利之外，由于正规表示法强大的字符串处理能力， 目前一堆软件都支持正规表示法！最常见的就是『邮件服务器』！
如何剔除广告信件呢？由于广告信件几乎都有一定的标题或者是内容，因此， 只要每次有来信时，都先将来信的标题与内容进行特殊字符串的比对，发现有不良信件就予以剔除！就使用正规表示法！目前两大邮件服务器软件 sendmail 与 postfix 以及支持邮件服务器的相关分析软件，都支持正规表示法的比对功能！

12.1.4. 正规表示法与 Shell 在 Linux 当中的角色定位
我们谈到的这个正规表示法，与前一章的 BASH 就有点像是数学的九九表一样，是 Linux 基础当中的基础，虽然也是最难的部分， 不过，如果学成了之后，一定是『大大的有帮助』的！

12.1.5. 延伸的正规表示法
正规表示法的字符串表示方式依照不同的严谨度而分为： 基础正规表示法与延伸正规表示法。延伸型正规表示法除了简单的一组字符串处理之外，还可以作群组的字符串处理， 例如进行搜寻 VBird 或 netman 或 lman 的搜寻，注意，是『或(or)』而不是『和(and)』的处理， 此时就需要延伸正规表示法的帮助！藉由特殊的『 ( 』与『 | 』等字符的协助， 就能够达到这样的目的！

12.2. 基础正规表示法
既然正规表示法是处理字符串的一种表示方式，那么对字符排序有影响的语系数据就会对正规表示法的结果有影响！ 此外，正规表示法也需要支持工具程序来辅助才行！所以，我们这里就先介绍一个最简单的字符串撷取功能的工具程序，那就是 grep ！ 前一章已经介绍过 grep 的相关选项与参数，本章着重在较进阶的 grep 选项说明！ 介绍完 grep 的功能之后，就进入正规表示法的特殊字符的处理能力了。

12.2.1. 语系对正规表示法的影响
为什么语系的数据会影响到正规表示法的输出结果呢？档案其实记录的仅有 0 与 1，我们看到的字符文字与数字都是透过编码表转换来的。由于不同语系的编码数据并不相同，所以就会造成数据撷取结果的差异了。 举例来说，在英文大小写的编码顺序中，zh_TW.big5 及 C 这两种语系的输出结果分别如下：

• LANG=C 时：0 1 2 3 4 … A B C D … Z a b c d …z
• LANG=zh_TW 时：0 1 2 3 4 … a A b B c C d D … z Z

上面的顺序是编码的顺序，我们可以很清楚的发现这两种语系明显就是不一样！如果你想要撷取大写字符而使用 [A-Z] 时， 会发现 LANG=C 确实可以仅捉到大写字符 (因为是连续的) ，但是如果 LANG=zh_TW.big5 时，就会发现到， 连同小写的 b-z 也会被撷取出来！因为就编码的顺序来看， big5 语系可以撷取到『 A b B c C … z Z 』这一堆字符！ 所以，使用正规表示法时，需要特别留意当时环境的语系为何， 否则可能会发现与别人不相同的撷取结果！
由于一般我们在练习正规表示法时，使用的是兼容于 POSIX 的标准，因此就使用『 C 』这个语系！ 因此，底下的很多练习都是使用『 LANG=C 』这个语系数据来进行的！ 另外，为了要避免这样编码所造成的英文与数字的撷取问题，因此有些特殊的符号我们得要了解一下的！ 这些符号主要有底下这些意义：

尤其上表中的[:alnum:], [:alpha:], [:upper:], [:lower:], [:digit:] 这几个一定要知道代表什么意思，因为他要比 a-z 或 A-Z 的用途要确定的很！

12.2.2. grep 的一些进阶选项
底下我们仅列出较进阶的 grep 选项与参数给大家参考， 基础的 grep 用法请参考前一章的说明！


grep 最重要的功能就是进行字符串数据的比对，然后将符合用户需求的字符串打印出来。 需要说明的是『grep 在数据中查寻一个字符串时，是以 “整行” 为单位来进行数据的撷取的！』
在关键词的显示方面，grep 可以使用 –color=auto 来将关键词部分使用颜色显示。 这可是个很不错的功能！但是如果每次使用 grep 都得要自行加上 –color=auto 又显的很麻烦，此时那个好用的 alias 就得来处理一下！你可以在 ~/.bashrc 内加上这行：『alias grep=’grep –color=auto’』再以『 source ~/.bashrc 』来立即生效即可！

12.2.3. 基础正规表示法练习
在汇整正规表示法特殊符号前， 我们先以底下这个档案的内容来进行正规表示法的理解吧！先说明一下，底下的练习大前提是：

• 语系已经使用『 export LANG=C 』的设定值；
• grep 已经使用 alias 设定成为『 grep –color=auto 』；

档案的内容如下：

例题一、搜寻特定字符串
假设我们要从刚刚的档案当中取得 the 这个特定字符串，最简单的方式就是这样：

如果想要『反向选择』呢？也就是说，当该行没有 ‘the’ 这个字符串时才显示在屏幕上，那就直接使用：

你会发现，屏幕上出现的行列为除了 8,12,15,16,18 五行之外的其他行列！ 接下来，如果你想要取得不论大小写的 the 这个字符串，则：

除了多两行 (9, 14行) 之外，第 16 行也多了一个 The 的关键词被撷取到！

例题二、利用中括号 [] 来搜寻集合字符
如果我想要搜寻 test 或 taste 这两个单字时，可以发现到，其实她们有共通的 ‘t?st’ 存在～这个时候，我可以这样来搜寻：

其实 [] 里面不论有几个字符，他都谨代表某『一个』字符， 所以，上面的例子说明了，我需要的字符串是『tast』或『test』两个字符串而已！ 而如果想要搜寻到有 oo 的字符时，则使用：

但是，如果我不想要 oo 前面有 g 的话呢？此时，可以利用在集合字符的反向选择 [^] 来达成：

意思就是说，我需要的是 oo ，但是 oo 前面不能是 g 就是了！仔细比较上面两个表格，你会发现，第 1,9 行不见了，因为 oo 前面出现了 g 所致！第 2,3 行没有疑问，因为 foo 与 Foo 均可被接受！但是第 18 行明明有 google 的 goo 。别忘记了，因为该行后面出现了 tool 的 too ！所以该行也被列出来。也就是说， 18 行里面虽然出现了我们所不要的项目 (goo) 但是由于有需要的项目 (too) ， 因此，是符合字符串搜寻的！
至于第 19 行，同样的，因为 goooooogle 里面的 oo 前面可能是 o ，例如： go(ooo)oogle ，所以，这一行也是符合需求的！
再来，假设我 oo 前面不想要有小写字符，所以，我可以这样写 [^abcd….z]oo ， 但是这样似乎不怎么方便，由于小写字符的 ASCII 上编码的顺序是连续的， 因此，我们可以将之简化为底下这样：

也就是说，当我们在一组集合字符中，如果该字符组是连续的，例如大写英文/小写英文/数字等等， 就可以使用[a-z],[A-Z],[0-9]等方式来书写，那么如果我们的要求字符串是数字与英文呢？ 就将他全部写在一起，发成：[a-zA-Z0-9]。例如，我们要取得有数字的那一行，就这样：

但由于考虑到语系对于编码顺序的影响，因此除了连续编码使用减号『 - 』之外， 你也可以使用如下的方法来取得前面两个测试的结果：

这样对于 [] 以及 [^] 以及 [] 当中的 - ，还有关于前面表格提到的特殊关键词有了解了吗？

例题三、行首与行尾字符 ^ $
我们在例题一当中，可以查询到一行字符串里面有 the 的，那如果我想要让 the 只在行首列出呢？ 这个时候就得要使用制表符了！我们可以这样做：

此时，就只剩下第 12 行，因为只有第 12 行的行首是 the 开头， 如果我想要开头是小写字符的那一行就列出呢？可以这样：

你可以发现我们可以捉到第一个字符都不是大写的！只不过 grep 列出的关键词部分不只有第一个字符， grep 是列出一整个字 (word) 说！同样的，上面的指令也可以用如下的方式来取代的：

那如果我不想要开头是英文字母，则可以是这样：

注意到了吧？那个 ^ 符号，在字符集合符号(括号[])之内与之外是不同的！ 在 [] 内代表『反向选择』，在 [] 之外则代表定位在行首的意义 ！要分清楚喔！ 反过来思考，那如果我想要找出来，行尾结束为小数点 (.) 的那一行，该如何处理：


特别注意到，因为小数点具有其他意义(底下会介绍)，所以必须要使用跳脱字符()来加以解除其特殊意义！ 不过，你或许会觉得奇怪，但是第 5~9 行最后面也是 . 啊～怎么无法打印出来？ 这里就牵涉到 Windows 平台的软件对于断行字符的判断问题了！我们使用 cat -A 将第五行拿出来看， 你会发现：

我们在第十章内谈到过断行字符在 Linux 与 Windows 上的差异， 在上面的表格中我们可以发现 5~9 行为 Windows 的断行字符 (^M$) ，而正常的 Linux 应该仅有第 10 行显示的那样 ($) 。所以啰，那个 . 自然就不是紧接在 $ 之前！也就捉不到 5~9 行了！这样可以了解 ^ 与 $ 的意义吗？ 好了，先不要看底下的解答，自己想一想，那么如果我想要找出来，哪一行是『空白行』， 也就是说，该行并没有输入任何数据，该如何搜寻？

因为只有行首跟行尾 (^$)，所以，这样就可以找出空白行！再来，假设你已经知道在一个程序脚本 (shell script) 或者是配置文件当中，空白行与开头为 # 的那一行是批注，因此如果你要将资料列出给别人参考时， 可以将这些数据省略掉以节省保贵的纸张，那么你可以怎么作呢？ 我们以 /etc/syslog.conf 这个档案来作范例，你可以自行参考一下输出的结果：

是否节省很多版面？

例题四、任意一个字符 . 与重复字符 *
在第十一章 bash 当中，我们知道通配符 * 可以用来代表任意(0或多个)字符， 但是正规表示法并不是通配符，两者之间是不相同的！ 至于正规表示法当中的『 . 』则代表『绝对有一个任意字符』的意思！这两个符号在正规表示法的意义如下：

• . (小数点)：代表『一定有一个任意字符』的意思；
• * (星星号)：代表『重复前一个 0 到无穷多次』的意思，为组合形态 ；

假设我需要找出 g??d 的字符串，亦即共有四个字符， 起头是 g 而结束是 d ，我可以这样做：

因为强调 g 与 d 之间一定要存在两个字符，因此，第 13 行的 god 与第 14 行的 gd 就不会被列出来！再来，如果我想要列出有 oo, ooo, oooo 等等的数据， 也就是说，至少要有两个(含) o 以上，该如何是好？是 o* 还是 oo* 还是 ooo* 呢？ 虽然你可以试看看结果， 不过结果太占版面了 ，所以，我这里就直接说明。
因为 * 代表的是『重复 0 个或多个前面的 RE 字符』的意义， 因此，『o*』代表的是：『拥有空字符或一个 o 以上的字符』， 特别注意，因为允许空字符(就是有没有字符都可以的意思)，因此，『 grep -n ‘o*’ regular_express.txt 』将会把所有的数据都打印出来屏幕上！
那如果是『oo*』呢？则第一个 o 肯定必须要存在，第二个 o 则是可有可无的多个 o ， 所以，凡是含有 o, oo, ooo, oooo 等等，都可以被列出来。
同理，当我们需要『至少两个 o 以上的字符串』时，就需要 ooo* ，亦即是：

如果我想要字符串开头与结尾都是 g，但是两个 g 之间仅能存在至少一个 o ，亦即是 gog, goog, gooog…. 等等，那该如何？

如果我想要找出 g 开头与 g 结尾的字符串，当中的字符可有可无，那该如何是好？是『g*g』吗？

因为 g*g 里面的 g* 代表『空字符或一个以上的 g』 在加上后面的 g ，因此，整个 RE 的内容就是 g, gg, ggg, gggg ， 因此，只要该行当中拥有一个以上的 g 就符合所需了！ 那该如何得到我们的 g….g 的需求呢？就利用任意一个字符『.』！ 亦即是：『g.*g』的作法，因为 * 可以是 0 或多个重复前面的字符，而 . 是任意字符，所以： 『.* 就代表零个或多个任意字符』的意思！

因为是代表 g 开头与 g 结尾，中间任意字符均可接受，所以，第 1, 14, 20 行是可接受的！ 这个 .* 的 RE 表示任意字符是很常见的，希望大家能够理解并且熟悉！
如果我想要找出『任意数字』的行列呢？因为仅有数字，所以就成为：

虽然使用 grep -n ‘[0-9]’ regular_express.txt 也可以得到相同的结果， 但希望大家能够理解上面指令当中 RE 表示法的意义才好！

例题五、限定连续 RE 字符范围 {}
在上个例题当中，我们可以利用 . 与 RE 字符及 * 来设定 0 个到无限多个重复字符， 那如果我想要限制一个范围区间内的重复字符数呢？举例来说，我想要找出两个到五个 o 的连续字符串，该如何作？这时候就得要使用到限定范围的字符 {} 了。 但因为 { 与 } 的符号在 shell 是有特殊意义的，因此， 我们必须要使用跳脱字符 \ 来让他失去特殊意义才行。 至于 {} 的语法是这样的，假设我要找到两个 o 的字符串，可以是：

这样看似乎与 ooo* 的字符没有什么差异啊？因为第 19 行有多个 o 依旧也出现了！ 好，那么换个搜寻的字符串，假设我们要找出 g 后面接 2 到 5 个 o ，然后再接一个 g 的字符串，他会是这样：

第 19 行终于没有被取用了(因为 19 行有 6 个 o ！)。 那么，如果我想要的是 2 个 o 以上的 goooo….g 呢？除了可以是 gooo*g ，也可以是：

12.2.4. 基础正规表示法字符汇整(characters)
经过了上面的几个简单的范例，我们可以将基础的正规表示法特殊字符汇整如下：



再次强调：『正规表示法的特殊字符』与一般在指令列输入指令的『通配符』并不相同， 例如，在通配符当中的 * 代表的是『 0 ~ 无限多个字符』的意思，但是在正规表示法当中， * 则是『重复 0 到无穷多个的前一个 RE 字符』的意思！使用的意义并不相同，不要搞混了！ 举例来说，不支持正规表示法的 ls 这个工具中，若我们使用 『ls -l * 』 代表的是任意档名的档案，而 『ls -l a* 』代表的是以 a 为开头的任何档名的档案， 但在正规表示法中，我们要找到含有以 a 为开头的档案，则必须要这样：(需搭配支持正规表示法的工具)
ls | grep -n ‘^a.*’

12.2.5. sed 工具： 行的新增/删除, 行的取代/显示, 搜寻并取代, 直接改档
在了解了一些正规表示法的基础应用之后，再来那就是 sed 跟底下会介绍的 awk 了！ 这两个家伙可是相当的有用的！
sed 本身也是一个管线命令，可以分析 standard input 的！ 而且 sed 还可以将数据进行取代、删除、新增、撷取特定行等等的功能！了解一下 sed 的用法！

一、以行为单位的新增/删除功能

sed 的动作为 ‘2,5d’ ，那个 d 就是删除！因为 2-5 行给他删除了，所以显示的数据就没有 2-5 行。 另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行！同时也要注意的是， sed 后面接的动作，请务必以 ” 两个单引号括住！
如果只要删除第 2 行，可以使用『 nl /etc/passwd | sed ‘2d’ 』来达成， 至于若是要删除第 3 到最后一行，则是『 nl /etc/passwd | sed ‘3,$d’ 』的，那个钱字号『 $ 』代表最后一行！

在 a 后面加上的字符串就已将出现在第二行后面！那如果是要在第二行前呢？就是『 nl /etc/passwd | sed ‘2i drink tea’ 』！ 增加一行很简单，那如果是要增将两行以上呢？

这个范例的重点是『我们可以新增不只一行！可以新增好几行』但是每一行之间都必须要以反斜杠『 \ 』来进行新行的增加！所以，上面的例子中，我们可以发现在第一行的最后面就有 \ 存在！那是一定要的！

二、以行为单位的取代与显示功能

sed 还有更好用的东东！我们以前想要列出第 11~20 行， 得要透过『head -n 20 | tail -n 10』之类的方法来处理， sed 则可以简单的直接取出你想要的那几行！是透过行号来捉的：

上述的指令中有个重要的选项『 -n 』，按照说明文件，这个 -n 代表的是『安静模式』！ 那么为什么要使用安静模式呢？你可以自行下达 sed ‘5,7p’ 就知道了 (5-7 行会重复输出) ！ 有没有加上 -n 的参数时，输出的数据可是差很多的！你可以透过这个 sed 的以行为单位的显示功能， 就能够将某一个档案内的某些行号捉出来查阅！

三、部分数据的搜寻并取代的功能
sed 还可以用行为单位进行部分数据的搜寻并取代的功能！ 基本上 sed 的搜寻与取代的与 vi 相当的类似：

上表中特殊字体的部分为关键词，请记下来！至于三个斜线分成两栏就是新旧字符串的替换！ 我们使用底下这个取得 IP 数据的范例，一段一段的来处理，让你了解一下什么是咱们所谓的搜寻并取代吧！


透过这个范例的练习也建议您依据此一步骤来研究你的指令！就是先观察，然后再一层一层的试做， 如果有做不对的地方，就先予以修改，改完之后测试，成功后再往下继续测试。
让我们再来继续研究 sed 与正规表示法的配合练习！假设我只要 MAN 存在的那几行数据， 但是含有 # 在内的批注我不想要，而且空白行我也不要！此时该如何处理呢？

四、直接修改档案内容(危险动作)
sed 甚至可以直接修改档案的内容而不必使用管线命令或数据流重导向！ 不过，由于这个动作会直接修改到原始的档案，所以请你千万不要随便拿系统配置文件来测试！ 我们还是使用你下载的 regular_express.txt 档案来测试看看！

sed 的『 -i 』选项可以直接修改档案内容，这功能非常有帮助！举例来说，如果你有一个 100 万行的档案，你要在第 100 行加某些文字，此时使用 vim 可能会疯掉！因为档案太大了！那怎办？就利用 sed ！透过 sed 直接修改/取代的功能，你甚至不需要使用 vim 去修订！很多的 shell script 都会使用到这个指令的功能！

12.3. 延伸正规表示法
事实上，一般读者只要了解基础型的正规表示法大概就已经相当足够了，不过，某些时刻为了要简化整个指令操作， 了解一下使用范围更广的延伸型正规表示法的表示式会更方便呢！举个简单的例子好了，在上节的例题三的最后一个例子中，我们要去除空白行与行首为 # 的行列，使用的是 grep -v ‘^$’ regular_express.txt | grep -v ‘^#’ 需要使用到管线命令来搜寻两次！那么如果使用延伸型的正规表示法，我们可以简化为： egrep -v ‘^$|^#’ regular_express.txt 延伸型正规表示法可以透过群组功能『 | 』来进行一次搜寻！那个在单引号内的管线意义为『或 or』！ 是否变的更简单呢？此外，grep 预设仅支持基础正规表示法，如果要使用延伸型正规表示法，你可以使用 grep -E ， 不过更建议直接使用 egrep ！直接区分指令比较好记忆！其实 egrep 与 grep -E 是类似命令别名的关系！
熟悉了正规表示法之后，到这个延伸型的正规表示法，你应该也会想到，不就是多几个重要的特殊符号吗？ 是的。所以，我们就直接来说明一下，延伸型正规表示法有哪几个特殊符号？由于底下的范例还是有使用到 regular_express.txt ，不巧的是刚刚我们可能将该档案修改过了， 所以请重新下载！

以上这些就是延伸型的正规表示法的特殊字符。另外，要特别强调的是，那个 ! 在正规表示法当中并不是特殊字符， 所以，如果你想要查出来档案中含有 ! 与 > 的字行时，可以这样： grep -n ‘[!>]’ regular_express.txt
这样可以了解了吗？常常看到有陷阱的题目写：『反向选择这样对否？ ‘[!a-z]’？』， 是错的。要 ‘[^a-z] 才是对的！至于更多关于正规表示法的进阶文章，请参考文末的参考数据。

12.4. 文件的格式化与相关处理
接下来让我们来将文件进行一些简单的编排吧！底下这些动作可以将你的讯息进行排版的动作， 不需要重新以 vim 去编辑，透过数据流重导向配合底下介绍的 printf 功能，以及 awk 指令， 就可以让你的讯息以你想要的模样来输出了！

12.4.1. printf： 格式化打印
在很多时候，我们可能需要将自己的数据给他格式化输出的！ 例如我想要输出底下的样式：

上表的数据主要分成五个字段，各个字段之间可使用 tab 或空格键进行分隔。 请将上表的资料转存成为 printf.txt 档名，等一下我们会利用这个档案来进行几个小练习的。 因为每个字段的原始数据长度其实并非是如此固定的 (Chinese 长度就是比 Name 要多)， 而我就是想要如此表示出这些数据，此时，就得需要打印格式管理员 printf 的帮忙了！ printf 可以帮我们将资料输出的结果格式化，而且支持一些特殊的字符！

假设所有的数据都是一般文字 (这也是最常见的状态)，因此最常用来分隔数据的符号就是 [Tab] ！因为 [Tab] 按键可以将数据作个整齐的排列！那么如何利用 printf 呢？参考底下这个范例：

由于 printf 并不是管线命令，因此我们得要透过类似上面的功能，将档案内容先提出来给 printf 作为后续的资料才行。 如上所示，我们将每个数据都以 [tab] 作为分隔，但是由于 Chinese 长度太长，导致 English 中间多了一个 [tab] 来将资料排列整齐！结果就看到资料对齐结果的差异了！
另外，在 printf 后续的那一段格式中，%s 代表一个不固定长度的字符串，而字符串与字符串中间就以 \t 这个 [tab] 分隔符来处理！你要记得的是，由于 \t 与 %s 中间还有空格，因此每个字符串间会有一个 [tab] 与一个空格键的分隔！
既然每个字段的长度不固定会造成上述的困扰，那我将每个字段固定就好了！ 所以我们就将数据给他进行固定字段长度的设计吧！

上面的格式共分为五个字段， %10s 代表的是一个长度为 10 个字符的字符串字段，%5i 代表的是长度为 5 个字符的数字字段，至于那个 %8.2f 则代表长度为 8 个字符的具有小数点的字段，其中小数点有两个字符宽度。我们可以使用底下的说明来介绍 %8.2f 的意义：
字符宽度： 12345678
%8.2f意义：00000.00
如上所述，全部的宽度仅有 8 个字符，整数部分占有 5 个字符，小数点本身 (.) 占一位，小数点下的位数则有两位。 这种格式经常使用于数值程序的设计中！
printf 除了可以格式化处理之外，他还可以依据 ASCII 的数字与图形对应来显示数据 ！ 举例来说 16 进位的 45 可以得到什么 ASCII 的显示图 (其实是字符)？

printf 的使用相当的广泛！包括等一下后面会提到的 awk 以及在 C 程序语言当中使用的屏幕输出， 都是利用 printf ！这里也只是列出一些可能会用到的格式而已！

12.4.2. awk：好用的数据处理工具
awk 也是一个非常棒的数据处理工具！相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个『字段』来处理。因此，awk 相当的适合处理小型的数据数据处理！awk 通常运作的模式是这样的：

awk 后面接两个单引号并加上大括号 {} 来设定想要对数据进行的处理动作。 awk 可以处理后续接的档案，也可以读取来自前个指令的 standard output 。 但如前面说的， awk 主要是处理『每一行的字段内的数据』，而默认的『字段的分隔符为 “空格键” 或 “[tab]键” 』 ！举例来说，我们用 last 可以将登入者的数据取出来，结果如下所示：


若我想要取出账号与登入者的 IP ，且账号与 IP 之间以 [tab] 隔开，则会变成这样：

上表是 awk 最常使用的动作！透过 print 的功能将字段数据列出来！字段的分隔则以空格键或 [tab] 按键来隔开。 因为不论哪一行我都要处理，因此，就不需要有 “条件类型” 的限制！我所想要的是第一栏以及第三栏， 但是，第五行的内容怪怪的～这是因为数据格式的问题！所以使用 awk 的时候，请先确认一下你的数据当中，如果是连续性的数据，请不要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判！
另外，由上面这个例子你也会知道，在每一行的每个字段都是有变量名称的，那就是 $1, $2… 等变量名称。以上面的例子来说， root 是 $1 ，因为他是第一栏！至于 192.168.1.100 是第三栏， 所以他就是$3 ！后面以此类推！还有个变数就是 $0 ，$0 代表『一整列资料』的意思。以上面的例子来说，第一行的 $0 代表的就是『root …. 』那一行！ 由此可知，刚刚上面五行当中，整个 awk 的处理流程是：

1. 读入第一行，并将第一行的资料填入 $0, $1, $2…. 等变数当中；
2. 依据 “条件类型” 的限制，判断是否需要进行后面的 “动作”；
3. 做完所有的动作与条件类型；
4. 若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

经过这样的步骤，你会晓得， awk 是『以行为一次处理的单位』， 而『以字段为最小的处理单位』。好了，那么 awk 怎么知道我到底这个数据有几行？有几栏呢？这就需要 awk 的内建变量的帮忙了。

我们继续以上面 last -n 5 的例子来做说明，如果我想要：

• 列出每一行的账号(就是 $1)；
• 列出目前处理的行数(就是 awk 内的 NR 变量)
• 并且说明，该行有多少字段(就是 awk 内的 NF 变量)

则可以这样：


这样可以了解 NR 与 NF 的差别了吧？好了，底下来谈一谈所谓的 “条件类型” ！

awk 的逻辑运算字符
既然有需要用到 “条件” 的类别，自然就需要一些逻辑运算，例如底下这些：

值得注意的是那个『 == 』的符号，因为：

• 逻辑运算上面亦即所谓的大于、小于、等于等判断式上面，习惯上是以『 == 』来表示；
• 如果是直接给予一个值，例如变量设定时，就直接使用 = 而已。

好了，我们实际来运用一下逻辑判断 ！在 /etc/passwd 当中是以冒号 “:” 来作为字段的分隔， 该档案中第一字段为账号，第三字段则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出账号与第三栏， 那么可以这样做：

不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变数 $1, $2… 默认还是以空格键为分隔的，所以虽然我们定义了 FS=”:” 了， 但是即仅能在第二行后才开始生效。那么怎么办呢？我们可以预先设定 awk 的变量！ 利用 BEGIN 这个关键词！这样做：

而除了 BEGIN 之外，我们还有 END ！另外，如果要用 awk 来进行『计算功能』呢？以底下的例子来看， 假设我有一个薪资数据表档名为 pay.txt ，内容是这样的：

如何帮我计算每个人的总额呢？而且我还想要格式化输出！我们可以这样考虑：

• 第一行只是说明，所以第一行不要进行加总 (NR==1 时处理)；
• 第二行以后就会有加总的情况出现 (NR>=2 以后处理)
  

上面的例子有几个重要事项应该要先说明的：

• awk 的指令间隔：所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分号『;』间隔， 或者直接以 [Enter] 按键来隔开每个指令，例如上面的范例中共按了三次 [enter] ！
• 逻辑运算当中，如果是『等于』的情况，则务必使用两个等号『==』！
• 格式化输出时，在 printf 的格式设定当中，务必加上 \n ，才能进行分行！
• 与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。

awk 的输出格式当中，常常会以 printf 来辅助，所以， 最好你对 printf 也稍微熟悉一下比较好！另外， awk 的动作内 {} 也是支持 if (条件) 的！ 举例来说，上面的指令可以修订成为这样：

你可以仔细的比对一下上面两个输入有啥不同，从中去了解两种语法！我个人是比较倾向于使用第一种语法， 因为会比较有统一性啊！
除此之外， awk 还可以帮我们进行循环计算！真是相当的好用！不过，那属于比较进阶的单独课程了， 我们这里就不再多加介绍。

12.4.3. 档案比对工具：, diff, cmp, patch
什么时候会用到档案的比对？通常是『同一个软件包的不同版本之间，比较配置文件与原始档的差异』。 很多时候所谓的档案比对，通常是用在 ASCII 纯文本档的比对上的！那么比对档案的指令有哪些？最常见的就是 diff ！ 另外，除了 diff 比对之外，我们还可以藉由 cmp 来比对非纯文本档！同时，也能够藉由 diff 建立的分析档， 以处理补丁 (patch) 功能的档案！

一、diff
diff 就是用在比对两个档案之间的差异的，并且是以行为单位来比对的！一般是用在 ASCII 纯文本档的比对上。 由于是以行为比对的单位，因此 diff 通常是用在同一的档案(或软件)的新旧版本差异上！ 举例来说，假如我们要将 /etc/passwd 处理成为一个新的版本，处理方式为： 将第四行删除，第六行则取代成为『no six line』，新的档案放置到 /tmp/test 里面，那么应该怎么做？

接下来讨论一下关于 diff 的用法吧！

用 diff 比对档案真的是很简单！不过，你不要用 diff 去比对两个完全不相干的档案，因为比不出个啥咚咚！ 另外， diff 也可以比对整个目录下的差异！举例来说，我们想要了解一下不同的开机执行等级 (runlevel) 内容有啥不同？假设你已经知道执行等级 3 与 5 的启动脚本分别放置到 /etc/rc3.d 及 /etc/rc5.d ， 则我们可以将两个目录比对一下：

二、cmp
cmp 主要也是在比对两个档案，他主要利用『字节』单位去比对， 因此，当然也可以比对 binary file 啰～(还是要再提醒， diff 主要是以『行』为单位比对， cmp 则是以『字节』为单位去比对，这并不相同！)

第一个发现的不同点在第四行，而且字节数是在第 106 个字节处！这个 cmp 也可以用来比对 binary ！

三、patch
patch 这个指令与 diff 可是有密不可分的关系啊！我们前面提到，diff 可以用来分辨两个版本之间的差异， 举例来说，刚刚我们所建立的 passwd.old 及 passwd.new 之间就是两个不同版本的档案。 那么，如果要『升级』呢？就是『将旧的档案升级成为新的档案』时，应该要怎么做呢？ 其实也不难啦！就是『先比较新旧版本的差异，并将差异档制作成为补丁档，再由补丁档更新旧档案』即可。 举例来说，我们可以这样做测试：

一般来说，使用 diff 制作出来的比较档案通常使用扩展名为 .patch 。至于内容就如同上面介绍的样子。 基本上就是以行为单位，看看哪边有一样与不一样的，找到一样的地方，然后将不一样的地方取代掉！ 以上面表格为例，新档案看到 - 会删除，看到 + 会加入！好了，那么如何将旧的档案更新成为新的内容呢？ 就是将 passwd.old 改成与 passwd.new 相同！可以这样做：

为什么这里会使用 -p0 呢？因为我们在比对新旧版的数据时是在同一个目录下， 因此不需要减去目录！如果是使用整体目录比对 (diff 旧目录 新目录) 时， 就得要依据建立 patch 档案所在目录来进行目录的删减！
更详细的 patch 用法我们会在后续的第五篇的原始码编译 (第二十二章)再跟大家介绍， 这里仅是介绍给你，我们可以利用 diff 来比对两个档案之间的差异， 更可进一步利用这个功能来制作修补档案 (patch file)！

12.4.4. 档案打印准备工具： pr
如果你曾经使用过一些图形接口的文字处理软件的话，那么很容易发现，当我们在打印的时候， 可以同时选择与设定每一页打印时的标头！也可以设定页码！如果我是在 Linux 底下打印纯文本档可不可以具有标题啊？可不可以加入页码啊？当然可以！使用 pr 就能够达到这个功能了。不过， pr 的参数实在太多了，说不完，一般来说，仅使用最简单的方式来处理而已。举例来说，如果想要打印 /etc/man.config 呢？

上面特殊字体那一行呢，其实就是使用 pr 处理后所造成的标题！标题中会有『档案时间』、『档案档名』及『页码』三大项目。 更多的 pr 使用，请参考 pr 的说明！