使用AWK进行文本处理

已于 2024-04-17 11:57:32 修改
阅读量1k 收藏 32
点赞数 10
分类专栏： linux 文章标签： 服务器 awk
于 2024-04-17 11:54:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/www_tlj/article/details/137866547
版权
本文详细介绍了awk，一种强大的文本处理语言，包括记录和字段的概念、模式和动作的结构、内建变量、执行流程，以及其在数据提取、转换、多维数组和复杂文本分析中的应用。通过实例演示了如何使用awk进行文本处理和数据分析。
摘要由CSDN通过智能技术生成

awk 的基本概念

awk 是一种强大的文本处理语言，广泛用于模式匹配和数据提取。这种编程语言设计用于对文本文件进行操作，尤其适用于格式化的文本，如 CSV 或空格分隔的表格数据。下面详细介绍 awk 的一些基本概念：

1. 记录和字段

  • 记录：在 awk 中，默认的记录是指输入文本的一行。
  • 字段：每条记录默认按空白字符（空格或制表符）分割成多个字段。第一个字段可以通过 $1 访问，第二个字段是 $2，依此类推，直到最后一个字段 $NF。整条记录可以用 $0 访问。

2. 模式和动作

awk 的基本结构是“模式 { 动作 }”，模式用于指定哪些记录将被选中进行处理，动作则定义了一系列对这些记录执行的操作。

  • 模式：可以是正则表达式、条件表达式（如比较操作）、特定的记录标识（如行号），或者不指定（意味着选择所有记录）。
  • 动作：用花括号 {} 包围，包含一系列 awk 命令，如打印输出、计算、字符串操作等。

3. 内建变量

awk 提供了多个内建变量，用于处理文本数据：

  • FS：字段分隔符（Field Separator），默认是空白字符。
  • RS：记录分隔符（Record Separator），默认是换行符。
  • OFS：输出字段分隔符（Output Field Separator），默认是空格。
  • ORS：输出记录分隔符（Output Record Separator），默认是换行符。
  • NF：当前记录中的字段数量（Number of Fields）。
  • NR：已读的记录数（Number of Records）。
  • FNR：当前文件中已读的记录数（同 NR，但在处理多个文件时会为每个文件重置）。

4. awk 程序的执行流程

awk 程序通常遵循以下执行流程：

  1. BEGIN块：在读取任何输入之前执行的代码块，通常用于初始化操作。

    BEGIN { FS=":"; OFS=":"; print "Start of Report" }

  2. 模式和动作：对输入的每一条记录，awk 都会检查是否匹配给定的模式，如果匹配，则执行相应的动作。

    $1 > 50 { print $0 }

  3. END块：在读取所有输入后执行的代码块，常用于总结和完成工作。

    END { print "End of Report" }

5. 强大的文本处理功能

awk 支持数组（包括关联数组），提供了字符串和数学函数，支持流程控制语句（如 if、while、for），使其不仅仅是文本处理工具，还是一个完整的编程环境。

通过理解这些基本概念，你可以开始使用 awk 来编写简单到复杂的文本处理脚本，处理各种数据分析和报告任务。

awk基本命令和语法

学习 awk 的基本命令和语法是掌握这个强大文本处理工具的第一步。下面，我将详细介绍如何开始使用 awk，包括常用的命令、语法规则，以及一些实用的例子。

1. 基本语法

awk 的基本命令格式通常是这样的：

awk 'pattern { action }' input-file

  • pattern：是一个条件表达式，用于选择哪些记录（行）需要应用 action。如果省略 pattern，action 将应用于所有记录。
  • action：在大括号中，包含一系列命令，用于处理符合 pattern 的记录。

2. 打印文本和字段

awk 最常用的命令可能就是 print 了，它用于显示记录或字段。

示例：打印每一行的内容

awk '{ print }' filename.txt

示例：打印每行的第一个和第三个字段

awk '{ print $1, $3 }' filename.txt

3. 使用内建变量

awk 提供了多种内建变量，如 NR（当前行号）、NF（当前行的字段数）等。

示例：打印每行的行号和行内容

awk '{ print NR, $0 }' filename.txt

示例：打印每行的最后一个字段

awk '{ print $NF }' filename.txt

4. 字段和记录分隔符

通过设置 FS（字段分隔符）和 RS（记录分隔符），你可以改变 awk 的行为，使其适应不同格式的输入。

示例：改变字段分隔符为逗号

awk 'BEGIN { FS = "," } { print $1 }' filename.txt

5. 模式匹配

awk 允许你使用模式（通常是正则表达式）来选择要操作的记录。

示例：选择包含 "error" 的行

awk '/error/ { print $0 }' filename.txt

6. 范围模式

awk 支持范围模式，允许你选择一个开始和结束模式之间的所有记录。

示例：从包含 "START" 的行开始，到包含 "END" 的行结束

awk '/START/,/END/' filename.txt

7. BEGIN 和 END 块

BEGIN 和 END 是特殊的模式，它们分别在处理任何输入行之前和处理完所有输入行之后执行。

示例：在开始时和结束时添加文本

awk 'BEGIN { print "Start Processing" } { print $0 } END { print "End Processing" }' filename.txt

8. 数学和字符串函数

awk 提供了一系列的数学和字符串处理函数。

示例：将每行的第一个字段转为大写

awk '{ print toupper($1) }' filename.txt

9. 处理多个文件

awk 可以同时处理多个输入文件。

 

awk '{ print FILENAME, NR, $0 }' file1.txt file2.txt

 

 

学习资源
 

  • 在线教程：网站如 Tutorialspoint、GeeksforGeeks 提供详细的教程。
  • 书籍：《sed & awk》是一本经典书籍，非常适合深入学习。
  • 官方文档：阅读 GNU awk 手册，了解所有功能和高级技巧。
 

通过上述基础知识和示例，你可以开始使用 awk 来处理和分析文本数据。随着实践的增加，你将能更深入地理解和运用 awk 的高级功能。
 

实际编写脚本
 

通过写一些简单的脚本来加深对 awk 的理解：
 

统计文件：编写脚本统计文本中单词的频率
 

要使用 awk 编写一个脚本来统计文本文件中单词的频率，你可以利用 awk 的关联数组来实现。这个脚本将读取文本文件中的每一行，分割每行成单词，并使用数组来记录每个单词出现的次数。
 

编写脚本
 

下面是一个简单的 awk 脚本，用于统计一个文本文件中各个单词的出现频率：
 

#!/bin/bash

# 使用 awk 统计文本中单词的频率
awk '
{
    # 默认字段分隔符是空白，所以直接遍历每个字段
    for (i = 1; i <= NF; i++) {
        # 将单词转为小写，以统一相同单词的不同形式
        word = tolower($i)
        # 去除单词周围的标点符号
        gsub(/[^a-zA-Z0-9]/, "", word)
        # 统计单词频率
        if (word != "") {
            words[word]++
        }
    }
}
END {
    # 打印每个单词及其频率
    for (w in words) {
        print w, words[w]
    }
}
' filename.txt

 

 

脚本解释
 

  1. 循环遍历每个字段：awk 默认按空白字符（空格、制表符等）分割每行，每个字段视为一个单词。for (i = 1; i <= NF; i++) 遍历这些字段。
  2. 单词处理：使用 tolower($i) 将单词转为小写，这样不区分大小写。使用 gsub(/[^a-zA-Z0-9]/, "", word) 去除单词中的非字母数字字符，这有助于去除末尾的标点符号。
  3. 统计频率：使用关联数组 words 来存储每个单词出现的次数。如果单词不为空（if (word != "")），则其出现次数增加。
  4. 结束处理：在 END 块中，输出数组 words 中的每个元素和对应的次数。遍历数组使用 for (w in words)。
 

使用脚本
 

  1. 将上述脚本保存为一个文件，例如 word_freq.sh。
  2. 赋予该脚本执行权限： 
    chmod +x word_freq.sh

     
     
  3. 运行脚本，传入要分析的文本文件名作为参数： 
    ./word_freq.sh filename.txt

     
     
 

这个脚本提供了一个基础的框架，你可以根据具体需求调整和改进，例如改进单词的分割规则，或者添加更多的文本处理功能。通过这样的练习，你可以加深对 awk 功能和文本处理技巧的理解。
 

数据提取：提取特定条件的数据行或字段。
 

使用 awk 提取符合特定条件的数据行或字段是一种常见的文本处理任务。你可以利用 awk 的模式匹配和字段处理功能来实现这一点。以下是一些具体的例子，演示如何使用 awk 来提取数据：
 

示例 1: 提取特定条件的行
 

假设你有一个 CSV 文件，其中包含用户信息，格式如下：
 

ID,Name,Age,Email
1,John Doe,30,john.doe@example.com
2,Jane Smith,25,jane.smith@example.com
3,Bob Johnson,35,bob.j@example.com

 

 

你想提取年龄大于 30 的用户信息。
 

脚本:
 

awk -F, '$3 > 30 { print $0 }' users.csv

 

 

解释:
 

  • -F, 设置字段分隔符为逗号。
  • $3 > 30 是一个条件，检查第三个字段（年龄）是否大于 30。
  • { print $0 } 如果条件为真，则打印整行。
 

示例 2: 提取特定字段的数据
 

继续使用上述 CSV 文件，假设你只想提取年龄大于 30 的用户的邮箱地址。
 

脚本:
 

awk -F, '$3 > 30 { print $4 }' users.csv

 

 

解释:
 

  • 这个命令与前一个例子相似，只不过这次你使用 { print $4 } 来只打印第四个字段（Email）。
 

示例 3: 根据多个条件提取数据
 

假设你还想根据多个条件来过滤数据，例如提取年龄大于 25 且名字包含 "Jane" 的记录。
 

脚本:
 

 

awk -F, '$3 > 25 && /Jane/ { print $0 }' users.csv

 

 

解释:
 

  • && 是逻辑与运算符，用于组合多个条件。
  • /Jane/ 是一个正则表达式模式，用于匹配包含 "Jane" 的行。
  • 如果两个条件都满足，就打印整行。
 

示例 4: 使用 BEGIN 和 END 块
 

你也可以使用 BEGIN 和 END 块来在处理前后执行特定的操作，比如设置表头或汇总。
 

脚本:
 

awk -F, 'BEGIN { print "Users Older Than 30" } $3 > 30 { print $2 } END { print "End of Report" }' users.csv

 

 

解释:
 

  • BEGIN 块在处理任何输入行之前执行，用于打印标题。
  • $3 > 30 { print $2 } 在条件满足时打印用户姓名。
  • END 块在处理完所有输入行后执行，用于打印结束语。
 

这些示例展示了如何使用 awk 来执行基本的数据提取任务。通过这种方式，你可以有效地从大量数据中提取有价值的信息，这在数据分析和日常的系统管理任务中非常有用。
 

数据转换：将数据从一种格式转换为另一种格式。
 

使用 awk 进行数据转换是一个非常实用的场景，尤其是当你需要将数据从一种格式转换为另一种更适用于特定应用的格式时。这可以包括格式的简单转换，如 CSV 转换为 TSV，或者更复杂的转换，如重塑数据结构。下面我将提供一些示例来演示如何使用 awk 完成这些任务。
 

示例 1: CSV 转 TSV（制表符分隔的值）
 

假设你有一个 CSV 文件（逗号分隔的值），你想将其转换为 TSV 文件（制表符分隔的值）。
 

输入 CSV 示例:
 

ID,Name,Age
1,John Doe,30
2,Jane Smith,25

 

 

awk 脚本:
 

awk -F, 'BEGIN { OFS="\t" } { print $1, $2, $3 }' input.csv > output.tsv

 

 

解释:
 

  • -F, 设置输入字段分隔符为逗号。
  • BEGIN { OFS="\t" } 在处理任何输入之前设置输出字段分隔符为制表符。
  • { print $1, $2, $3 } 对于输入文件的每一行，打印所有字段，字段间由 OFS 定义的制表符分隔。
  • 输出重定向到 output.tsv 文件。
 

示例 2: 重塑数据结构
 

假设你需要将数据的结构从一行多个字段转换为多行，每行两个字段，其中第一个字段是 ID，第二个字段是其他信息。
 

输入数据:
 

ID,Name,Age,Email
1,John Doe,30,john@example.com
2,Jane Smith,25,jane@example.com

 

 

awk 脚本:
 

awk -F, '{
    print $1, "Name", $2
    print $1, "Age", $3
    print $1, "Email", $4
}' input.csv > reshaped_data.txt

 

 

解释:
 

  • 对于每一行输入，生成三行输出。
  • 每行输出包括 ID 和一个其他字段的值。
 

示例 3: JSON 格式化输出
 

假设你想将 CSV 数据转换为 JSON 格式。
 

输入 CSV 示例:
 

ID,Name,Age
1,John Doe,30
2,Jane Smith,25

 

 

awk 脚本:
 

awk -F, 'BEGIN {
    print "["
}
NR > 1 {
    printf "\t{\n\t\t\"ID\": \"%s\",\n\t\t\"Name\": \"%s\",\n\t\t\"Age\": \"%s\"\n\t}", $1, $2, $3
    if (NR < FNR) {
        print ","
    }
}
END {
    print "\n]"
}' input.csv > output.json

 

 

解释:
 

  • BEGIN 块中打印 JSON 开始的方括号。
  • 对于每行数据（跳过标题行），使用 printf 按 JSON 格式打印每个字段。
  • 在 END 块中打印结束的方括号。
 

这些示例展示了 awk 在数据转换中的多样性和灵活性，从简单的格式转换到复杂的数据重塑和结构化输出。这种灵活性使得 awk 成为处理和准备数据的强大工具。
 

数组和函数：学习如何使用 awk 中的数组和自定义函数。
 

在 awk 中，数组和函数是两个非常强大的特性，它们可以极大地增强脚本的功能和灵活性。这里我将详细介绍如何在 awk 中使用数组和定义及调用自定义函数。
 

1. 数组的使用
 

awk 支持一维和多维数组（通过模拟实现），可以用于各种数据收集和处理任务。
 

一维数组
 

示例：统计每个单词在文本中出现的次数。
 

awk '{
    for (i = 1; i <= NF; i++) {
        word = tolower($i)
        count[word]++
    }
}
END {
    for (word in count)
        print word, count[word]
}' input.txt

 

 

解释：
 

  • 数组 count 用于存储每个单词的出现次数。
  • 循环通过 NF（字段数量，即单词数量）遍历每行的所有单词。
  • 在 END 块中，遍历数组并打印每个单词及其出现次数。
 

多维数组
 

虽然 awk 本身不直接支持多维数组，但可以通过连接索引来模拟。
 

示例：记录不同人在不同年份的收入。
 

awk -F, '{
    income[$1][$2] += $3
}
END {
    for (person in income) {
        for (year in income[person]) {
            print person, year, income[person][year]
        }
    }
}' income_data.csv

 

 

解释：
 

  • $1 是人名，$2 是年份，$3 是收入。
  • income[$1][$2] 模拟二维数组，存储每个人每年的收入总和。
 

2. 自定义函数
 

awk 允许你定义自己的函数，这可以帮助重用代码、清理脚本并使其更易于维护。
 

定义和使用函数
 

示例：编写一个函数计算并返回平均值。
 

function average(total, count) {
    return total / count
}

BEGIN {
    sum = 0
    n = 0
}
{
    sum += $1
    n++
}
END {
    avg = average(sum, n)
    print "Average:", avg
}

 

 

解释：
 

  • function average(total, count) 定义了一个计算平均值的函数。
  • 在脚本的 END 部分调用 average() 函数计算平均值并打印。
 

小结
 

通过使用数组和自定义函数，awk 脚本可以更加强大和灵活。数组提供了一种方便的方式来收集和操作数据集合，而自定义函数则允许你封装复杂的逻辑，使得脚本更加模块化和可重用。实践这些特性将有助于提升你在数据处理和脚本编写方面的技能。
 

 

复杂的文本分析：学习如何处理复杂的文本分析任务，如多维数组的使用等。
 

处理复杂的文本分析任务是 awk 特别擅长的领域。通过利用 awk 的强大功能，如多维数组、字符串函数和模式匹配，你可以执行高级数据分析和处理。在本部分，我们将探讨一些复杂的文本分析技巧，包括如何使用多维数组和处理复杂数据结构。
 

1. 多维数组的使用
 

虽然 awk 本身不支持真正的多维数组，但可以通过字符串索引模拟多维数组的功能。这对于需要处理和分析来自不同维度的数据（如时间序列数据、分组统计数据等）非常有用。
 

示例：处理销售数据
 

假设你有一个销售数据文件，格式如下：
 

Date,Region,Product,Amount
2023-01-01,North,Widget,100
2023-01-01,South,Gadget,150
2023-01-02,North,Widget,80
2023-01-02,South,Gadget,200

 

 

你需要分析每个区域在每个日期的总销售额。
 

awk -F, 'NR > 1 { sales[$2][$1] += $4 }
END {
    for (region in sales) {
        for (date in sales[region]) {
            print date, region, sales[region][date]
        }
    }
}' sales_data.csv

 

 

解释：
 

  • 使用逗号作为字段分隔符（-F,）。
  • 使用数组 sales 两个键：第一个是区域（$2），第二个是日期（$1），累加金额（$4）。
  • 在 END 块中，双层循环遍历 sales 数组，打印出每个区域每天的总销售额。
 

2. 使用 awk 进行数据重构和格式化
 

利用 awk 的文本处理功能，可以将数据从一种格式转换为另一种格式，比如从 CSV 转换为 JSON，这对于现代应用程序接口和数据交换非常有用。
 

示例：转换为 JSON 格式
 

使用前面的销售数据，将其转换为 JSON 格式。
 

awk -F, 'BEGIN {
    print "["
    first = 1
}
NR > 1 {
    if (!first) print ","
    first = 0
    printf "\t{\"Date\": \"%s\", \"Region\": \"%s\", \"Product\": \"%s\", \"Amount\": %s}", $1, $2, $3, $4
}
END {
    print "\n]"
}' sales_data.csv

 

解释：
 

  • 在 BEGIN 块中，打印 JSON 的开始。
  • 对于每行数据（跳过标题行），使用 printf 打印 JSON 对象。
  • 使用 first 变量控制逗号的打印，避免在第一个元素后打印。
  • 在 END 块中，结束 JSON 数组。
 

3. 复杂的文本处理
 

对于包含复杂结构的文本（如日志文件、配置文件等），awk 可以使用其正则表达式能力和字符串处理函数来提取和处理数据。
 

示例：解析日志文件
 

假设有一个简单的日志文件，需要提取其中的错误消息及其时间戳。
 

awk '/ERROR/ { print $1, $2, $3, $4 }' server.log

 

 

解释：
 

  • 搜索包含 "ERROR" 的行。
  • 打印出错误发生的日期和时间（假设这些信息位于行的前几个字段）。
 

通过上述示例，你可以看到 awk 在处理多维数据、格式转换和复杂文本分析方面的灵活性和强大功能。掌握这些技能可以帮助你解决许多实际的数据处理问题。

                

        

        

    

  


    

      

        

            

              
                
                  DevDiary
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
17.文本处理工具awk

				
			

			

				

					小鹏linux的博客
				

				

					04-07
					
					1676
					
				

			

		

		

			
				
awk是基于列的文本处理工具，awk认为文件都是结构化的，也就是说都是由单词和各种空白字符组成的，这里的“空白字符”包括空格、TAB以及连续的空格和TAB等。每个非空白的部分叫做“域”从左到右依次是第一个域第二个域等。$1、$2分别用于表示域，$0则表示全部域。printf：可以自定义输出的模式，另外输出内容之后不自动换行，print：输出内容之后自动换行。print 中不能使用%s ,%d 或%c。

			
		

	



                

            
              



	

		

			

				
					
awk文本处理

				
			

			

				

					Promise_410的博客
				

				

					06-01
					
					350
					
				

			

		

		

			
				
awk文本处理
概述
	awk [ɔ:k] 其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言，三位创建者已将它正式定义为“样式扫描和处理语言”。

	awk也是一个数据处理工具，sed其实是以行为单位的文本处理工具，而awk则是基于列的文本处理工具。

	它的工作方式是按行读取文本并视为一条记录，每条记录以分割符分隔成若干字段，然后输出各字段的值。

    awk语言的最基本功能是在文件

			
		

	



              


  
              

                


	

		

			

				
					
深入 awk 命令：Linux 命令行中的文本处理神器

					
最新发布

				
			

			

				

					Lion_Long的博客
				

				

					09-09
					
					1600
					
				

			

		

		

			
				
AWK 是一种强大而灵活的文本处理工具，广泛应用于 Linux 命令行环境中。其设计初衷是提供便捷的方式来处理和分析结构化文本数据、行列数据等。通过简单且易于理解的语法，用户能够快速实现数据筛选、格式化和计算。本文将深入探讨 AWK 的基本概念、结构及常用功能，帮助读者掌握这一命令的强大魅力与实用性。

			
		

	





	

		

			

				
					
AWK文本处理工具

				
			

			

				

					yangxiaoyan12的博客
				

				

					11-05
					
					246
					
				

			

		

		

			
				
一、Awk 基础语法:
Awk –Fs ‘/pattern/ {action}’ input-file
(或者)
Awk –Fs ‘{action}’ input-file
上面语法中：
 -F 为字段分界符。如果不指定，默认会使用空格作为分界符。
 /pattern/和{action}需要用单引号引起来。
 /pattern/是可选的。如果不指定，awk 将处理输入文件中的所有记录。如果指...

			
		

	



		

			
		



	

		

			

				
					
文本处理之  awk

				
			

			

				

					sinat_24813315的博客
				

				

					05-04
					
					6880
					
				

			

		

		

			
				
awk对于大部分人都是相当的陌生。即便一个对Linux比较熟悉的人，也未必知道awk。为什呢？因为awk与其它大多数Linux命令不同，无法从名字上看出它到底是干什么的。实际上，awk是它的三个作者姓氏的首字母合写，他们是：Aho(阿尔佛雷德·艾侯)、Winberger(彼得·温伯格)和Kernighan(布莱恩·柯林汉)，绝对都是牛人。awk是 一种文本处理工具，它的目的是编写小巧 但充满表达力...

			
		

	





	

		

			

				
					
使用AWK进行文本处理：随机数与随机文本生成

				
			

			

				

					
				

			

		

		

			
				
在给定的文件中，我们主要关注的是与文本处理相关的编程技术，尤其是使用AWK语言进行的文本处理。AWK是一种强大的文本分析工具，常用于处理结构化的数据文件。在描述中提到的"随机文本发生器"是通过生成随机数据来...

			
		

	





	

		

			

				
					
awk是什么？如何使用awk进行文本处理？

				
			

			

				

					03-23
				

			

		

		

			
				
使用awk进行文本处理的一般步骤如下： 1. 构造一个awk脚本，可以使用文本编辑器创建一个以.awk为后缀的文件。 2. 在脚本中定义规则和动作。规则用于匹配文本行，动作用于对匹配到的行进行处理。 3. 运行awk命令并...

			
		

	





	

		

			

				
					
使用awk进行文本处理与数据抽取

				
			

			

				

					
				

			

		

		

			
				
`awk`允许用户通过模式匹配和动作来处理文本，它具有内置的文本处理能力和编程结构，使得从大量文本数据中提取信息变得相对简单。  `awk`的工作原理是读取一行文本，然后根据用户定义的模式（正则表达式）来决定是否...

			
		

	





	

		

			

				
					
使用awk进行文本处理与数据提取

				
			

			

				

					
				

			

		

		

			
				
本章将对AWK工具进行介绍，包括其定义、历史和在文本处理中的作用。  ## 1.1 什么是AWK？  AWK是一种用于文本处理和分析的编程语言，它可以对数据和文本文件进行逐行处理，并支持数据提取、格式化输出、数据转换等...

			
		

	





	

		

			

				
					
GAWK入门：使用AWK进行文本处理与模式匹配

				
			

			

				

					
				

			

		

		

			
				
"本教程是针对GAWK的入门指南，旨在帮助读者理解AWK文本处理和模式扫描语言的基础，并通过使用开源的GNU AWK解释器进行实践操作。教程覆盖了如何读取和操作输入数据，运行AWK程序，以及进行复杂的模式匹配。无论是否...

			
		

	





	

		

			

				
					
linux文本处理工具awk命令详解

				
			

			

				

					10-28
				

			

		

		

			
				
linux文本处理工具awk命令详解，超详细的讲解awk命令，更多实战案例

			
		

	





	

		

			

				
					
如何使用awk处理文本内容

				
			

			

				

					beeworkshop的博客
				

				

					10-18
					
					694
					
				

			

		

		

			
				
教学开始
我们将使用以下文本文件作为本文中所有示例的输入文件:
[root@localhost ~]# cat << EOF >> content.txt

出现大于号时将一下内容复制到终端，将文本内容保存到content.txt文件中。
        hitesh engineer sales 30000
jayesh director account 25000
vyom manager purchase 20000

bhavesh engineer sales 30000


			
		

	





	

		

			

				
					
第14章 使用awk处理文本

				
			

			

				

					wer0735的博客
				

				

					02-16
					
					367
					
				

			

		

		

			
				
1.     awk如何工作
awk和流编辑器sed在工作原理和用法上有很多类似之处，它们都是检查输入数据中的行是否匹配指定的模式，如果匹配成功就对匹配的行执行相应的操作，重复这个过程指导所有的输入数据都被处理完，因此awk和sed都是面向数据流的工具。此外，awk和sed的相似之处还体现在两者使用的语法式很类似，都是使用正则表达式匹配来确定要操作的行。与sed不同的是，awk执行的操作要写在模

			
		

	





	

		

			

				
					
awk命令

				
			

			

				

					weixin_33830216的博客
				

				

					06-18
					
					103
					
				

			

		

		

			
				
awk命令awk也是一个数据处理工具！相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个字段来处理。.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。有三种方式调用awk1．命令行方式awk [-F field-separator] 'commands' input-files其中，[-F域...

			
		

	





	

		

			

				
					
Shell脚本文本三剑客之AWK

				
			

			

				

					m0_51160032的博客
				

				

					10-28
					
					4375
					
				

			

		

		

			
				
一、AWK工具介绍



	AWK 是一种处理文本文件的语言，是一个强大的文本分析工具
	
	
	可以在无交互的模式下实现复杂的文本操作
	
	
	相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。
	


1.1AWK命令的基本格式


awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

1.2AWK工作原理



	前面提到sed命令常用于一整行的处理,而awk比较倾向于将

			
		

	





	

		

			

				
					
Linux之文本处理工具awk

				
			

			

				

					weixin_34391445的博客
				

				

					04-16
					
					193
					
				

			

		

		

			
				
文本处理工具awk用法(介绍在最后)

awk -v FS=: '{print $1,FS,$3}' /etc/passwd  {FS}可省略      
awk -v FS=: -v OFS=^^^ '{print $1,$3}' /etc/passwd
awk -F: -v OFS=^^^ '{print $1,$3}' /etc/passwd
awk -F:  '{print $1,$NF}...

			
		

	





	

		

			

				
					
文本处理awk

				
			

			

				

					OpengSD的博客
				

				

					11-06
					
					194
					
				

			

		

		

			
				
文本处理工具awk
awk：（Aho, Weinberger, Kernighan，）报告生成器，格式化文本输出
有多种版本：New awk（nawk），GNU awk（ gawk）
gawk：模式扫描和处理语言
1. 基本用法：  
awk [options] 'program' var=value file…  
awk [options] -f programfile var=value f...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值