shell 脚本工具（三剑客）

第一个：awk

awk 是一种强大的文本处理工具和编程语言，最初由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 在20世纪70年代早期创建。awk 的名称来自于这三位创造者的姓氏的首字母。它在 Unix 和类 Unix 操作系统中广泛使用，用于处理、分析、转换和报告文本数据。以下是关于 awk 的详细介绍：

1. 工作原理： awk 的工作原理是逐行读取文本文件（或输入数据），将每一行拆分成字段，并允许用户定义条件和操作来处理这些字段。它的处理过程通常包括三个步骤：

• 读取输入数据行。
• 根据用户指定的条件（称为模式）判断是否应该对该行执行操作。
• 如果模式匹配，则执行用户定义的操作。

2. 基本语法： awk 命令的基本语法如下：

awk 'pattern { action }' input_file

• pattern 是一个条件，用于匹配输入数据的某些行。
• action 是在满足条件的行上执行的操作。
• input_file 是要处理的输入文件。

. 内置变量和函数： awk 提供了许多内置变量和函数，用于执行各种操作，如处理字段、数学运算、字符串处理等。一些常用的内置变量包括 $0（整个当前行）、$1、$2（第一个和第二个字段），而一些常用的内置函数包括 length()（获取字符串长度）、gsub()（全局替换）、sprintf()（格式化输出）等。

4. 常见用途： awk 在文本处理中非常有用，可用于执行以下任务：

• 数据提取：从文本文件中提取特定字段或行。
• 数据转换：修改文本数据的格式或结构。
• 数据统计：对数据进行计数、求和、平均等数学运算。
• 报告生成：生成报告、摘要或汇总信息。
• 文本过滤：根据条件过滤文本行。

5. 示例： 以下是一些 awk 的示例用法：

• 打印文件的第一列：awk '{ print $1 }' data.txt
• 统计文件的行数：awk 'END { print NR }' data.txt
• 替换文件中的字符串：awk '{ gsub("old", "new"); print }' data.txt

awk 的强大之处在于其灵活性和可编程性，允许用户根据不同的文本处理需求编写复杂的脚本。它是 Unix 系统中的一个重要工具，可用于处理各种文本数据，从日志文件到数据报告再到配置文件。

awk文件处理常见用例

1.数据提取：从文本文件中提取特定字段或行。

# 提取文件的第二列数据
awk '{ print $2 }' data.txt

2.数据转换：修改文本数据的格式或结构。

# 将逗号分隔的数据转换为制表符分隔
awk 'BEGIN { FS=","; OFS="\t" } { print }' data.csv

3.数据统计：对数据进行计数、求和、平均等数学运算。

# 统计文件的行数
awk 'END { print NR }' data.txt

# 计算文件的列平均值
awk '{ sum += $1 } END { print sum / NR }' data.txt

4.报告生成：生成报告、摘要或汇总信息。

# 生成文件的摘要统计信息
awk '{ sum += $1 } END { print "Total: " sum; print "Average: " sum/NR }' data.txt

5.文本过滤：根据条件过滤文本行。

# 过滤包含特定关键词的行
awk '/pattern/ { print }' data.txt

6.字段操作：处理字段，例如合并、拆分、排序等。

# 合并文件的第一列和第二列，用制表符分隔
awk '{ print $1 "\t" $2 }' data.txt

# 根据第三列对文件进行排序
awk '{ lines[NR] = $0 } END { for (i = 1; i <= NR; i++) print lines[i] | "sort -k3,3" }' data.txt

7.查找最大/最小值：查找文本中某列的最大或最小值。

# 查找文件中第二列的最大值
awk 'max < $2 { max = $2 } END { print "Max: " max }' data.txt

8.文本替换：根据匹配模式替换文本。

# 替换文本文件中的字符串
awk '{ gsub("old", "new"); print }' data.txt

9.分组和汇总：根据某一列的值进行分组并进行统计。

# 根据第一列的值进行分组并计算每组的总和
awk '{ sum[$1] += $2 } END { for (group in sum) print group, sum[group] }' data.txt

第二个：grep

grep 是一个强大的命令行工具，用于在文本文件中搜索匹配某个模式或正则表达式的行，并将匹配到的行打印出来。它的名称来自于 "Global Regular Expression Print" 的缩写。grep 在 Unix 和类 Unix 操作系统中广泛使用，是文本处理和搜索的重要工具之一。

以下是有关 grep 的详细介绍：

基本语法： grep 的基本语法如下：

grep [options] pattern [file...]

• pattern 是您要搜索的模式或正则表达式。
• file 是要搜索的文件的名称。如果不提供文件名，则 grep 将从标准输入读取数据。

常用选项：

• -i：忽略大小写，使搜索不区分大小写。
• -r 或 -R：递归搜索指定目录下的文件。
• -v：反向搜索，只打印不匹配模式的行。
• -l：只打印包含匹配模式的文件名，而不是行。
• -n：打印匹配行的行号。
• -c：只计算匹配行的数量，而不是打印匹配的行。
• -A num：打印匹配行后的 num 行。
• -B num：打印匹配行前的 num 行。
• -C num：打印匹配行前后各 num 行。

grep常用命令举例

1.简单搜索：搜索文件中包含指定文本的行。

grep "pattern" file.txt

2.忽略大小写：搜索时不区分大小写。

grep -i "pattern" file.txt

3.递归搜索：在指定目录及其子目录中搜索。

grep -r "pattern" /path/to/directory

4.反向搜索：打印不匹配模式的行。

grep -v "pattern" file.txt

5.打印文件名：只打印包含匹配模式的文件名。

grep -l "pattern" directory/*.txt

6.计算匹配数量：只显示匹配行的数量。

grep -c "pattern" file.txt

7.打印行号：显示匹配行的行号。

grep -n "pattern" file.txt

8.上下文打印：打印匹配行前后的行。

grep -A 2 -B 2 "pattern" file.txt

9.使用正则表达式：使用正则表达式进行模式匹配。

grep "^[0-9]*$" numbers.txt

10.搜索特定文件类型：在文件名匹配的文件中搜索。

grep "pattern" *.log

11.查找目录中的文件名：搜索文件名而不是文件内容。

ls /path/to/directory | grep "keyword"

12.排除匹配：使用 -v 选项排除特定模式的行。

grep -v "exclude_pattern" file.txt

13.搜索压缩文件：在压缩文件中搜索匹配内容。

zgrep "pattern" compressed_file.gz

14.逐行读取输入：从标准输入读取数据并搜索。

echo "data1\ndata2\ndata3" | grep "data2"

第三个：sed

sed 是一种流编辑器（Stream Editor），它用于处理文本流，通常在命令行环境下使用。sed 的主要功能是对输入文本进行转换、替换、删除、插入等操作，同时可以使用正则表达式来匹配文本模式。以下是 sed 的一些常见用法和选项：

1.基本的替换操作：sed 可以用来替换文本中的指定字符串，语法如下：

# 替换文件中所有的 "old_text" 为 "new_text"
sed 's/old_text/new_text/g' filename.txt

2.删除行：删除包含特定文本的行。

# 删除包含 "delete_me" 的行
sed '/delete_me/d' filename.txt

3.插入文本：在匹配模式之前或之后插入新文本。

# 在包含 "insert_here" 的行之前插入新文本
sed '/insert_here/i This is new text' filename.txt

4.替换指定行：只替换特定行中的文本。

# 只在第3行中替换 "old" 为 "new"
sed '3s/old/new/' filename.txt

5.只在第3行中替换 "old" 为 "new" sed '3s/old/new/' filename.txt

# 使用正则表达式，将所有数字替换为 "X"
sed 's/[0-9]/X/g' filename.txt

6.保存更改到原文件：使用 -i 选项将更改保存回原始文件。

# 在原文件上替换并保存更改
sed -i 's/old_text/new_text/g' filename.txt

7.打印特定行：只打印匹配特定条件的行。

# 打印包含 "keyword" 的行
sed -n '/keyword/p' filename.txt

8.替换文本中的特定行范围：替换在特定行范围内出现的文本。

# 替换第2到第5行中的 "apple" 为 "orange"
sed '2,5s/apple/orange/' filename.txt