Linux三剑客之awk命令详解

awk 是一个功能强大的文本处理工具，尤其适合处理结构化数据（如日志文件、CSV文件等）。它能够根据指定的模式匹配和操作文本，常用于报告生成、数据统计和自动化任务。

1. awk 的基本概念

• 记录（Record）：在awk中，一行文本称为一条记录。
• 字段（Field）：每条记录中的数据通过指定的分隔符（默认是空格或制表符）分成若干字段。字段在awk中用$1, $2, $3等表示，$0表示整条记录。

2. 基本语法

awk 'pattern { action }' [文件]

• pattern：模式，用于匹配文本中的行。
• action：动作，当匹配到模式时执行的操作。
• 如果省略pattern，awk会对每一行执行action。

3. 常用选项

• -F：指定输入字段分隔符。
• -v：定义一个用户自定义变量。
• -f：从文件中读取awk脚本。
• -n：只输出处理过的行，不输出所有行。

4. awk 的内置变量

• FS：输入字段分隔符（Field Separator），默认是空格或制表符。
• OFS：输出字段分隔符，默认是空格。
• NF：当前记录的字段数。
• NR：当前处理的是第几条记录。
• FNR：与NR类似，但用于多文件处理时，每个文件的行号会分别计数。
• RS：输入记录分隔符，默认是换行符。
• ORS：输出记录分隔符，默认是换行符。

5. awk 基本用法

1. 打印文件中的每一行：

   awk '{print $0}' file.txt
   

   或者

   awk '{print}' file.txt
   

2. 打印第一个字段：

   awk '{print $1}' file.txt
   

3. 按指定分隔符分割字段：
   假设文件file.txt内容为逗号分隔的：

   awk -F, '{print $1, $2}' file.txt
   

4. 显示行号和内容：

   awk '{print NR, $0}' file.txt
   

5. 计算某一列的总和：
   假设第2列是数字，计算其总和：

   awk '{sum += $2} END {print sum}' file.txt
   

6. 过滤并打印特定模式的行：
   打印第二列大于100的行：

   awk '$2 > 100' file.txt
   

7. 处理多文件：
   在处理多文件时，使用FNR来分别计算每个文件的行号：

   awk '{print FILENAME, FNR, $0}' file1.txt file2.txt
   

8. BEGIN 和 END 块：
   BEGIN块在处理文件前执行，END块在处理文件后执行：

   awk 'BEGIN {print "Start"} {print $1} END {print "End"}' file.txt
   

9. 修改输出分隔符：
   将输出字段之间的分隔符从默认的空格改为逗号：

   awk 'BEGIN {OFS=","} {print $1, $2, $3}' file.txt
   

10. 统计文件中的单词频率：
    统计每个单词出现的次数：

    awk '{for (i=1; i<=NF; i++) freq[$i]++} END {for (word in freq) print word, freq[word]}' file.txt
    

11. 文本替换：
    统计每个单词出现的次数：

    awk '{gsub(/old-text/, "new-text"); print}' file.txt
    

12. 多条件匹配

    awk '$1 == "condition1" && $2 ~ "condition2" { print $0 }' file.txt
    

6. 进阶用法

1. 数组处理：
   awk 支持关联数组，可用于统计、分类等复杂操作：

   awk '{arr[$1] += $2} END {for (i in arr) print i, arr[i]}' file.txt
   

2. 正则表达式：
   awk 中的模式支持正则表达式，可以更灵活地匹配数据：

   awk '/pattern/ {print $0}' file.txt
   

3. 用户定义变量：
   使用-v选项传递变量：

   awk -v threshold=100 '$2 > threshold {print $0}' file.txt
   

4. 字段操作：
   修改或重新排列字段：

   awk '{temp=$1; $1=$2; $2=temp; print $0}' file.txt
   

7. 结合使用

awk 常与其他工具（如 grep、sed）结合使用，以处理更复杂的文本操作。例如，使用 grep 过滤出错误日志，再用 awk 统计错误类型：

grep 'ERROR' log.txt | awk '{errorType[$3]++} END {for (type in errorType) print type, errorType[type]}'

总结

awk 是一个非常灵活且强大的工具，特别适合处理结构化文本。通过 awk 的基本操作和内置变量，能够在数据分析、报告生成等方面大幅提升效率。