使用 AWK 进行文本处理

前言

AWK 是 Unix/Linux 系统中一种强大的文本处理工具和编程语言，特别适用于处理结构化数据。无论是从文件中提取信息，进行数据转换，还是生成报告，AWK 都能胜任。本篇博客将全面介绍 AWK 的基本用法、常见操作、进阶技巧以及实际案例。

什么是 AWK？

AWK 由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 在20世纪70年代创建。它的名字来源于创建者名字的首字母。AWK 擅长对行和列的操作，通过模式匹配和动作执行来处理文本文件。

基本语法

AWK 的基本调用格式如下：

awk 'pattern {action}' file

• pattern：匹配模式，可以是正则表达式或条件表达式。
• action：对匹配行执行的操作，通常是 {} 包围的命令块。
• file：要处理的文本文件。

简单示例

假设有一个名为 data.txt 的文件，其内容如下：

Name Age Score
Alice 30 85
Bob 25 90
Carol 27 88
David 22 78

打印文件的所有内容

awk '{print}' data.txt

这是 AWK 的默认行为，打印文件的每一行。

打印特定列

awk '{print $1, $3}' data.txt

这将打印文件的第一列和第三列。

条件过滤

打印年龄大于 25 的行

awk '$2 > 25 {print}' data.txt

计算列的总和

计算所有人的总分

awk '{sum += $3} END {print sum}' data.txt

这里 END 表示在文件处理完之后执行的操作。

使用分隔符

假设有一个 data.csv 文件使用逗号分隔：

Name,Age,Score
Alice,30,85
Bob,25,90
Carol,27,88
David,22,78

使用 -F 指定分隔符：

awk -F ',' '{print $1, $3}' data.csv

使用模式匹配

打印包含 “Alice” 的行

awk '/Alice/ {print}' data.txt

修改字段内容

将文件中的分数乘以 2

awk '{$3 = $3 * 2; print}' data.txt

内置变量

• NR：当前记录数（行号）。
• NF：当前记录的字段数。
• FS：字段分隔符（默认是空格或制表符）。
• OFS：输出字段分隔符。

示例：打印每一行的行号和字段数

awk '{print NR, NF}' data.txt

自定义函数

AWK 允许定义和调用函数。例如：

awk '
function add(a, b) {
    return a + b;
}
{
    print $1, add($2, $3);
}' data.txt

综合示例

假设需要处理一个复杂的日志文件 log.txt：

2024-08-01 User1 200
2024-08-01 User2 404
2024-08-02 User1 500
2024-08-02 User3 200

统计每个用户的访问次数

awk '{count[$2]++} END {for (user in count) print user, count[user]}' log.txt

进阶技巧

处理多个文件

AWK 可以同时处理多个文件：

awk '{print FILENAME, $0}' file1.txt file2.txt

这里 FILENAME 是内置变量，表示当前文件名。

字符串操作

AWK 提供丰富的字符串操作函数。例如，提取子字符串：

awk '{print substr($1, 1, 3)}' data.txt

这将打印第一列的前三个字符。

使用 BEGIN 和 END 块

• BEGIN 块在处理任何行之前执行，用于初始化：

  awk 'BEGIN {print "Start"} {print} END {print "End"}' data.txt
  

• END 块在处理完所有行之后执行，用于总结：

  awk '{sum += $3} END {print "Total:", sum}' data.txt
  

结论

AWK 是一个功能强大且灵活的工具，适用于各种文本处理任务。通过学习和掌握 AWK，可以显著提高工作效率和数据处理能力。希望本篇指南能帮助你更好地理解和使用 AWK。如果你有任何问题或需要进一步的示例，请随时留言。