Linux文本处理三剑客：awk（内置函数详解笔记）

于 2024-03-04 17:04:18 发布
阅读量1.6k 收藏 24
点赞数 21
分类专栏： Linux学习笔记 文章标签： 服务器 linux git 运维 命令模式 ubuntu windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TiYong/article/details/136452549
版权

Linux系统中，AWK 是一个非常强大的文本处理工具，它的内置函数使得对文本数据进行处理更加高效和便捷。

本文将介绍 AWK 内置函数的几种主要类型：

  • 算数函数
  • 字符串函数
  • 时间函数
  • 位操作函数
  • 其他常用函数

我们将使用一个示例文本文件来演示这些函数的用法，并提供详细的注释说明，继续分享。

基础学习，可以回头查看：Linux文本处理三剑客：awk（结构化命令）

1.算数函数

函数名功能参数示例输出
atan2(y,x)返回正切值 y/x 的角度值，角度以弧度为单位y, xatan2(10, -10) * 180 / PI135
cos(expr)返回 expr 的余弦值，输入参数以弧度为单位exprcos(60 * PI / 180.0)0.5
exp(expr)返回自然数 e 的 expr 次幂exprexp(5)148.413159
int(expr)返回数值 expr 的整数部分exprint(5.12345)5
log(expr)计算 expr 自然对数exprlog(5.5)1.704748
rand返回一个大于等于 0 小于 1 的随机数-rand()0.237788
sin(expr)返回角度 expr 的正弦值，角度以弧度为单位exprsin(30 * PI / 180)0.5
sqrt(expr)计算 expr 的平方根exprsqrt(1024.0)32
srand([expr])使用种子值生成随机数exprsrand(10)1417959587

注释:

  • 以上表格仅列出了 AWK 提供的内置算术函数。
  • 算术函数的参数必须是数值。
  • 算术函数的返回值是数值。
# 反正切函数
awk 'BEGIN {
  PI = 3.14159265
  x = -10
  y = 10
  result = atan2 (y,x) * 180 / PI;
  printf "对于 (x=%f, y=%f)，反正切值为 %f 度\n", x, y, result
}'


# 余弦函数
awk 'BEGIN {
  PI = 3.14159265
  param = 60
  result = cos(param * PI / 180.0);
  printf "%f 度的余弦值为 %f\n", param, result
}'


# 自然指数函数
awk 'BEGIN {
  param = 5
  result = exp(param);
  printf "%f 的自然指数值为 %f\n", param, result
}'


# 取整函数
awk 'BEGIN {
  param = 5.12345
  result = int(param)

  print "Truncated value =", result
}'



# 自然对数函数
awk 'BEGIN {
  param = 5.5
  result = log (param)

  printf "log(%f) = %f\n", param, result
}'


# 随机数函数
awk 'BEGIN {
  print "Random num1 =" , rand()
  print "Random num2 =" , rand()
  print "Random num3 =" , rand()
}'


#正弦函数
awk 'BEGIN {
  PI = 3.14159265
  param = 30.0
  result = sin(param * PI /180)

  printf "The sine of %f degrees is %f.\n", param, result
}'



# 平方根函数
awk 'BEGIN {
  param = 1024.0
  result = sqrt(param)

  printf "sqrt(%f) = %f\n", param, result
}'


# 设置随机数种子
awk 'BEGIN {
  param = 10

  printf "srand() = %d\n", srand()
  printf "srand(%d) = %d\n", param, srand(param)
}'

2.字符串函数

函数名功能参数示例输出
asort(arr, [d [, how]])使用 GAWK 值比较的一般规则排序 arr 中的内容arr, d, howasort(arr)-
asorti(arr, [d [, how]])对数组的索引排序arr, d, howasorti(arr)-
gsub(regexp, replacement [, target])全局替换子串regexp, replacement, targetgsub("World", "Jerry", str)Hello, Jerry
index(str, sub)检测子串是否存在str, subindex(str, subs)5
length(str)返回字符串长度strlength(str)16
match(str, regex)搜索与正则表达式匹配的子串str, regexmatch(str, subs)5
split(str, arr, regex)分割字符串str, arr, regexsplit(str, arr, ",")One, Two, Three, Four
sprintf(format, expr-list)按指定格式构造字符串format, expr-listsprintf("%s", "Hello, World !!!")Hello, World !!!
strtonum(str)将字符串转换为数值strstrtonum("123")123
sub(regex, sub, string)执行一次子串替换regex, sub, stringsub("World", "Jerry", str)Hello, Jerry
substr(str, start, l)返回子串str, start, lsubstr(str, 1, 5)Hello
tolower(str)将所有大写字母转换为小写字母strtolower(str)hello, world !!!
toupper(str)将所有小写字母转换为大写字母strtoupper(str)HELLO, WORLD !!!

注释:

  • 以上表格仅列出了 AWK 提供的内置字符串函数。
  • 字符串函数的参数可以是字符串或变量。
  • 字符串函数的返回值是字符串。
# 按字母顺序排列数组元素
$ awk 'BEGIN {
  arr[0] = "Three"
  arr[1] = "One"
  arr[2] = "Two"

  print "排序前数组元素："
  for (i in arr) {
    print arr[i]
  }

  asort(arr)

  print "排序后数组元素："
  for (i in arr) {
    print arr[i]
  }
}'



# 按索引顺序排列数组元素
awk 'BEGIN {
  arr["Two"] = 1
  arr["One"] = 2
  arr["Three"] = 3

  asorti(arr)

  print "排序后数组索引："
  for (i in arr) {
    print arr[i]
  }
}'


# 替换字符串
awk 'BEGIN {
  str = "Hello, World"
  print "替换前字符串 = " str
  gsub("World", "Jerry", str)
  print "替换后字符串 = " str
}'


# 查找子串的位置
awk 'BEGIN {
  str = "One Two Three"
  subs = "Two"
  ret = index(str, subs)
  printf "子串 \"%s\" 在第 %d 个位置找到.\n", subs, ret
}'




# 获取字符串长度
awk 'BEGIN {
  str = "Hello, World !!!"
  print "长度 = ", length(str)
}'



# 使用正则表达式匹配子串
awk 'BEGIN {
  str = "One Two Three"
  subs = "Two"
  ret = match(str, subs)
  printf "子串 \"%s\" 在第 %d 个位置找到.\n", subs, ret
}'



# 将字符串分割为数组
awk 'BEGIN {
  str = "One,Two,Three,Four"
  split(str, arr, ",")
  print "数组包含以下元素："

  for (i in arr) {
    print arr[i]
  }
}'


# 使用 sprintf() 格式化字符串
awk 'BEGIN {
  str = sprintf("%s", "Hello, World !!!")
  print str
}'


# 将字符串转换为数字
awk 'BEGIN {
  print "Decimal num = " strtonum("123")
  print "Octal num = " strtonum("0123")
  print "Hexadecimal num = " strtonum("0x123")
}'




# 使用 sub() 替换字符串
awk 'BEGIN {
  str = "Hello, World"
  print "替换前字符串 = " str
  sub("World", "Jerry", str)
  print "替换后字符串 = " str
}'


# 获取子字符串
awk 'BEGIN {
  str = "Hello, World !!!"
  subs = substr(str, 1, 5)
  print "Substring = " subs
}'


# 小写转换
awk 'BEGIN {
  str = "HELLO, WORLD !!!"
  print "Lowercase string = " tolower(str)
}'



# 大写转换
awk 'BEGIN {
  str = "hello, world !!!"
  print "Uppercase string = " toupper(str)
}'

3.时间函数

函数名功能参数示例输出
systime返回从 Epoch 以来到当前时间的秒数-systime()1418574432
mktime(datespec)将字符串转换为时间戳datespecmktime("2014 12 14 30 20 10")1418604610
strftime([format [, timestamp[, utc-flag]]])格式化时间戳format, timestamp, utc-flagstrftime("Time = %m/%d/%Y %H:%M:%S", systime())Time = 12/14/2014 22:08:42

注释:

  • 以上表格仅列出了 AWK 提供的内置时间函数。
  • 时间戳是一个数值，表示从 Epoch 以来经过的秒数。
  • Epoch 是 Unix 时间的起点，为 1970 年 1 月 1 日 00:00:00 UTC。
# 获取当前时间戳
awk 'BEGIN {
    print "Number of seconds since the Epoch = " systime()
}'
# 将字符串转换为时间戳
awk 'BEGIN {
    print "Number of seconds since the Epoch = " mktime("2014 12 14 30 20 10")
}'

# 格式化时间戳
awk 'BEGIN {
    print strftime("Time = %m/%d/%Y %H:%M:%S", systime())
}'

# 打印当前星期几
awk 'BEGIN {
  print strftime("%A")
}'

4.位操作函数

函数名功能参数示例输出
and执行位与操作num1, num2and(10, 6)2
compl按位求补num1compl(10)9.0072E+15
lshift左移位操作num1, shiftlshift(10, 1)20
rshift向右移位操作num1, shiftrshift(10, 1)5
or按位或操作num1, num2or(10, 6)14
xor按位异或操作num1, num2xor(10, 6)12

注释:

  • 以上表格仅列出了 AWK 提供的内置位操作函数。
  • 位操作函数的参数必须是整数。
  • 位操作函数的返回值是整数。
# 位与操作
awk 'BEGIN {
    num1 = 10
    num2 = 6

    printf "(%d AND %d) = %d\n", num1, num2, and(num1, num2)
}'

# 按位求补
awk 'BEGIN {
    num1 = 10

    printf "compl(%d) = %d\n", num1, compl(num1)
}'


# 左移位操作
awk 'BEGIN {
    num1 = 10

    printf "lshift(%d) by 1 = %d\n", num1, lshift(num1, 1)
}'


# 向右移位操作。
awk 'BEGIN {
    num1 = 10

    printf "rshift(%d) by 1 = %d\n", num1, rshift(num1, 1)
}'



# 按位或操作。
awk 'BEGIN {
    num1 = 10
    num2 = 6

    printf "(%d OR %d) = %d\n", num1, num2, or(num1, num2)
}'


# 按位异或操作
[jerry]$ awk 'BEGIN {
    num1 = 10
    num2 = 6

    printf "(%d XOR %d) = %d\n", num1, num2, xor(num1, num2)
}'

5.其他常用函数

函数名功能参数示例输出
close(expr)关闭管道的文件exprclose(cmd, "to")-
delete从数组中删除元素数组索引delete arr[0]-
exit([expr])终止脚本执行exprexit 10-
fflush([output-expr])刷新打开文件或管道的缓冲区output-exprfflush()-
getline读入下一行-getline < file-
next停止处理当前记录，进入下一条记录的处理过程-if ($0 ~/Shyam/) next-
nextfile停止处理当前文件，从下一个文件第一个记录开始处理-if ($0 ~ /file1:str2/) nextfile-
return([expr])从用户自定义的函数中返回值exprreturn result-
system(cmd)执行特定的命令cmdsystem("date")0

注释:

  • 以上表格仅列出了 AWK 提供的其它内置函数。
  • 每个函数的具体使用方法请参考 AWK 官方文档。
# 关闭管道
awk 'BEGIN {
    cmd = "tr [a-z] [A-Z]"
    print "hello, world !!!" |& cmd
    close(cmd, "to")
    cmd |& getline out
    print out;
    close(cmd);
}'


# 从数组中删除元素
awk 'BEGIN {
    arr[0] = "One"
    arr[1] = "Two"
    arr[2] = "Three"
    arr[3] = "Four"

    print "删除前:"
    for (i in arr) {
        print arr[i]
    }

    delete arr[0]
    delete arr[1]

    print "删除后:"
    for (i in arr) {
        print arr[i]
    }
}'


# 终止脚本执行
awk 'BEGIN {
    print "Hello, World !!!"

    exit 10

    print "AWK never executes this statement."
}'



# 刷新打开文件或管道的缓冲区
fflush([output-expr])



# 读入下一行
awk '{getline; print $0}' file.txt 


# 执行特定的命令然后返回其退出状态。返回值为 0 表示命令执行成功；非 0 表示命令执行失败。
awk 'BEGIN { ret = system("date"); print "Return value = " ret }'

如果您觉得有些用处，熟练操作这些代码后，相信你会有一些收获。

欢迎在评论区留言，关注。谢谢您的阅读！

敬请关注！

往期学习笔记：

Windows系统开启Linux子系统（Ubuntu）

Linux常用命令（目录操作命令）

Linux常用命令：文件的创建、复制、移动、查找和删除命令

Linux常用命令：文本文件的查看与编辑

Linux常用命令：文本文件的拼接与分割

Linux常用命令：文件的权限管理

Linux常用命令：文件的下载、压缩与解压

Linux常用命令：常见的操作符

Linux常用命令：系统操作命令
 

 Linux文本处理三剑客：grep

Linux文本处理三剑客：sed

Linux文本处理三剑客：awk

Linux文本处理三剑客：awk（常用匹配模式）

Linux文本处理三剑客：awk（结构化命令）

Linux文本处理三剑客：awk（对具体文本的示例代码）

TiYong
关注
  • 21
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
awk 常用函数！
Love_shift
03-04 1134
1.split //split(域名，数组，分隔符） [root@localhost ~]# cat a abc abd abe abf abg [root@localhost ~]# awk '{split($0,a," "); print length(a);for(i in a) print a[i]}' a //$0按空格作为分隔符，顺序存入数组a中 5 abf a
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 ...匹配除了换行符外任意一个...
Linux文本处理命令：awk、sed、grep
07-06
awk、sed、grep是linux的三剑客，在文本处理的场景中，掌握这三个命令真的是很有用
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 系统变量 格式化输出 \s代表字符串 第二个域 \t代表tab键 第八个域 每输出两个域换行 awk的ascii字符的转换 awk的字符型字符的转换 printf 修饰符的栗子 -15表示字符串长度控制为为15位，若字符串不足15位，则用空格补充。 内置字符串函数 （1）OFS表示替换完成之后默认的输出的分隔域是什么，默认是空格。 index lengh
awk内置函数
Beeman_xia的世界
01-05 829
gsub(r,s,t) 在字符串t中，用字符串s替换和正则表达式r匹配的所有字符串。返回替换的个数。如果没有给出t，缺省为$0 index(s,t) 返回s 中字符串t 的位置，不出现时为0 length(s) 返回字符串s 的长度，当没有给出s时，返回$0的长度 match(s,r) 返回r 在s 中出现的位置，不出现时为0。设置RSTART和RLENGTH
awk字符串函数及其意义
weixin_30827565的博客
03-26 88
awk字符串函数及其意义 awk提供了强大的内置字符串函数，用于实现文本的字符串替换、查找以及分隔等功能。 awk字符串函数主要有：gsub、index、length、match、split、sub、substr等。 下图列出了awk字符串函数及其意义： 转载于:https://www.cnblogs.com/m...
AWK参数详解
IChen.的博客
05-12 3374
介绍： awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value ' ' 引用代码块 BEGIN 初始化代码块，在对每一行进行处理之前，初始化代
Linux 命令 awk 超详细讲解
最新发布
兴趣是最好的老师，勤能补拙
06-28 4638
Linux 系统 awk 命令，超详细讲解
awk内置字符串函数
weixin_33804582的博客
09-24 49
awk内置字符串函数: gsub(r, s)           在整个$0中用s替代r awk 'gsub(/name/, "xingming") {print $0}' temp gsub(r, s, t)         在整个t中用s替代r index(s, t)          返回s中字符串t的第一位置 awk 'BEGIN {print inde...
linux之awk命令
weixin_30369041的博客
06-16 196
一、awk的内置参数 $0：表示整个当前行 $1：每行第一个字段 $2：每行第二个字段 $n：每行第n个字段 awk的参数：分隔符 　　-F separator 设定分隔符（默认为空格）　　 打印单个字段： awk -F ':' '{print $3}' /etc/passwd 打印多个字段： awk -F ':' '{print $1,$3}'/etc/passwd ...
Linux文本处理工具使用详解
01-09
在Linux系统中，文本处理工具是非常重要的一部分，它们可以帮助我们高效地分析和处理大量文本数据。本文将深入探讨几个常见的文本处理工具，如`grep`、`sort`、`head`、`cut`以及如何结合使用这些工具解决实际问题。...
awk 内置字符串函数简介
hjjdebug的专栏
06-12 2046
awk 内置字符串函数操作实例 awk中,简单的字符串赋值和拼接操作可以通过直接书写而实现(内部支持),但是,更加复杂的 操作必须使用字符串操纵函数实现. 由此见， awk语法 和 C 语言还是非常接近的。函数名称，输入参数，输出参数 学习一门语言，应该面向数据（借用面向对象的说法），所以你要关注数据，变量和数组。 -----------------------------------...
awk字符串函数（一）
xiyangyang052的专栏
05-10 882
sub和gsub函数 sub函数用于在记录中查找能够匹配正则表达式的最长且最靠左的子串，然后用替换串取代找到的子串。如果指定了目标串，就在目标串中查找能够匹配正则表达式的最长且最靠左的子串，并将找到的子串替换为替换串。若未指定目标串，则在整个记录中查找。 sub函数格式 sub(正则表达式,替换串); sub(正则表达式,替换串,目标串); 范例 $ awk '{
AWK中的字符串操作函数
zsx0728的博客
01-29 4350
文章目录gensub()参考文档 本节中的功能查看或更改一个或多个字符串的文本。 gawk理解语言环境，并用字符而非字节进行所有字符串处理。对于一个字符可能由多个字节表示的语言环境，这一区别尤其重要。因此，例如，length()返回字符串中的字符数，而不是用于表示这些字符的字节数。同样， index()适用于字符索引，而不适用于字节索引。 示例： # cat file1 1.2.3.4 1.2....
awk中字符串处理函数
Melgards的博客
09-20 1328
match(s,r) 该函数用于确定正则表达式r是否和指定字符串s匹配，如果匹配上，那么返回正则表达式中第1个字符匹配的位置。在系统变量中，RSTART用于存放第1个匹配到的字符的位置，RLENGTH变量存放匹配到的字符长度。index(s,t) 返回字符串t（子串）在字符串s（父串）中出现在最左边的位置，如果子串在父串中不存在，那么返回0。如果替换成功返回n，n代表替换了几处，否则返回0。substr(s,p,n) 在字符串s中返回从位置p开始(包括p位置的字符)往结尾方向，总共n个字符的子串。
awk内建函数之字符串函数
weixin_34185364的博客
10-28 114
index(原字符串,匹配字符串)length(字符串)match(原字符串,正则表达式)split(原字符串,数组名称,分隔字符)sprintf(格式字符串,项1,项2,...)sub(正则,替换的新字符串,原字符串)gsub(正则表达式，替换的新字符串,原字符串 )substr(字符串,起始位置,截取长度)tolower(字符串)toupper(字符串)1. index(...
awk字符串函数总结
热门推荐
xibeichengf的专栏
05-08 1万+
在这里总结一下awk的字符串函数。 1. 长度函数length() 2. 分段函数split() 语法如下： split(input-string, output-array, separator) split函数将一个字符串分隔到一个数组中。它有三个参数，第一个为输入字符串，也就是要处理的字符串；第二个为一个输出数组；第三个为分隔符。 3. 字符串抽取函数substr() 语法如下
awk中的常用的字符串函数和数学函数
bigfacesafdasgfewgf
05-20 1208
总结awk中常用的字符串函数和数学函数如下表： 具体使用方法在实践中自行体会~
Linux三剑客：AWK, SED, Grep详解与高效应用
Linux三剑客，即awk、sed和grep，是Unix和Linux环境中三个强大的文本处理工具，对于提升Linux系统的文本分析和数据处理能力具有关键作用。这些工具在初学者和高级用户中都十分实用，无论是在数据筛选、格式转换还是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TiYong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值