linux awk(1)

最新推荐文章于 2024-08-05 22:01:46 发布
最新推荐文章于 2024-08-05 22:01:46 发布
阅读量1.4k 收藏
点赞数
分类专栏： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shi7876061/article/details/80549057
版权
awk 介绍
    awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出
    有多种版本：New awk（nawk），GNU awk（ gawk）
    gawk：模式扫描和处理语言
    基本用法：
        awk [options] ‘program’ var=value file…    就是放在一个文件里
        awk [options] -f programfile var=value file…   
        awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
        awk 程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成
        program通常是被单引号或双引号中
    选项：
        -F 指明输入时用到的字段分隔符
        -v var=value: 自定义变量

awk 语言
    基本格式：awk [options] 'program' file…
    program:pattern{action statements;..}
    pattern和action：
    pattern部分决定动作语句何时触发及触发事件
        BEGIN,END
    action statements对数据进行处理，放在{}内指明
        print, printf
    分割符、域和记录
        awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。$0为所有域，注意：和shell中变量$符含义不同
        文件的每一行称为记录
        省略action，则默认执行 print $0 的操作

awk工作原理
    第一步：执行BEGIN{action;… }语句块中的语句   
    第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
    第三步：当读至输入流末尾时，执行END{action;…}语句块 
     BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
    END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
    pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

awk
    print格式： print item1, item2, ...
        要点：
            (1) 逗号分隔符
            (2) 输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式
            (3) 如省略item，相当于print $0
    示例：
        awk '{print "hello,awk"}'    这个只识别标准输入，但不影响输出结果， 理论是读取一行输出一行 ，入后跟文件，文件有几行，就输出及个hello,awk。
        awk –F: '{print}' /etc/passwd
        awk –F: ‘{print “root”}’ /etc/passwd  
        awk –F: ‘{print $1}’ /etc/passwd
        awk –F: ‘{print $0}’ /etc/passwd
        awk –F: ‘{print $1”\t”$3}’ /etc/passwd  打印第一行和第三行 用tab做分隔
        tail –3 /etc/fstab |awk ‘{print $2,$4}’
        awk 加BEGIN就不会等待等待输入直接输出，也可以进行算数运算

awk变量
    变量：内置和自定义变量
    FS：输入字段分隔符，默认为空白字符
        awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd    设置变量后可以再调用，使用FS时可以调用变量而-F无法调用
        awk –F: '{print $1,$3,$7}’ /etc/passwd
    OFS：输出字段分隔符，默认为空白字符
        awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd
    RS：输入记录分隔符，指定输入时的换行符， 默认是回车或者是换行符
        awk -v RS=' ' ‘{print }’ /etc/passwd
输出默认是第一行，所以b，g和h未打印
    ORS：输出记录分隔符，输出时用指定符号代替换行符
        awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd
    NF：字段数量
        awk -F： ‘{print NF}’ /etc/fstab,引用内置变量不用$    统计每一行以“:”为分隔符，的总共有几个字段，如果加$就等于输出最后一个字段
        awk -F: '{print $(NF-1)}' /etc/passwd

    NR：记录号
        awk '{print NR}' /etc/fstab ; awk END'{print NR}' /etc/fstab    如果没有定义的话等于默认加行号，如果跟两个文件的话，默认会连着加记录号，如果要分开统计的话 可以用FNR
    FNR：各文件分别计数,记录号
        awk '{print FNR}' /etc/fstab /etc/inittab
    FILENAME：当前文件名
        awk '{print FILENAME}’ /etc/fstab
    ARGC：命令行参数的个数
        awk '{print ARGC}’ /etc/fstab /etc/inittab    统计默认awk自身算一个参数
        awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
    ARGV：数组，保存的是命令行所给定的各参数
        awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
        awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

awk变量
    自定义变量(区分字符大小写)
        (1) -v var=value
        (2) 在program中直接定义
    示例：
        awk -v test='hello gawk' '{print test}' /etc/fstab
        awk -v test='hello gawk' 'BEGIN{print test}'

        awk 'BEGIN{test="hello,gawk";print test}'
        awk –F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd    ，后设置变量的话会导致第一行，无法打印相应变量的内容

        cat awkscript
        {print script,$1,$2}
        awk -F: -f awkscript script=“awk” /etc/passwd

printf命令
    格式化输出：printf “FORMAT”, item1, item2, ...
        (1) 必须指定FORMAT
        (2) 不会自动换行，需要显式给出换行控制符，\n
        (3) FORMAT中需要分别为后面每个item指定格式符
    格式符：与item一一对应
        %c: 显示字符的ASCII码
        %d, %i: 显示十进制整数
        %e, %E:显示科学计数法数值
        %f：显示为浮点数
        %g, %G：以科学计数法或浮点形式显示数值
        %s：显示字符串
        %u：无符号整数
        %%: 显示%自身
    修饰符：
        #[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
        -: 左对齐（默认右对齐） %-15s
        +：显示数值的正负符号 %+d

printf示例
    awk -F: ‘{printf "%s",$1}’ /etc/passwd
    awk -F: ‘{printf "%s\n",$1}’ /etc/passwd
    awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd      默认是右对齐，%后面加上-为左对齐，且第几个百分号表示的第几个输出

    awk -F: ‘{printf "Username: %s\n",$1}’ /etc/passwd
    awk -F: ‘{printf “Username: %s,UID:%d\n",$1,$3}’ /etc/passwd
    awk -F: ‘{printf "Username: %15s,UID:%d\n",$1,$3}’ /etc/passwd
    awk -F: ‘{printf "Username: %-15s,UID:%d\n",$1,$3}’ /etc/passwd

操作符
    算术操作符：
        x+y, x-y, x*y, x/y, x^y, x%y
        -x: 转换为负数
        +x: 转换为数值
        字符串操作符：没有符号的操作符，字符串连接
    赋值操作符：
        =, +=, -=, *=, /=, %=, ^=
        ++, --
    下面两语句有何不同
        awk ‘BEGIN{i=0;print ++i,i}’  输出为 1 1
        awk ‘BEGIN{i=0;print i++,i}’  输出为 0 1
    比较操作符：
        ==, !=, >, >=, <, <=
    模式匹配符：
        ~：左边是否和右边匹配包含 !~：是否不匹配
    示例：
        awk –F: '$0 ~ /root/{print $1}‘ /etc/passwd

        awk '$0~“^root"' /etc/passwd  其实后面没有跟{默认在之后填了个print $0}


        awk '$0 !~ /root/‘ /etc/passwd
        awk –F: ‘$3==0’ /etc/passwd
        取出存储大于10的

    逻辑操作符：与&&，或||，非!

    示例：
        awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
        awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
        awk -F: ‘!($3==0) {print $1}' /etc/passwd        取反时必须拿小括号括起来
        awk -F: ‘!($3>=500) {print $3}’ /etc/passwd
        在awk里直接对变量取反的话，0表示空，1表示非空

    函数调用： function_name(argu1, argu2, ...)

    条件表达式（三目表达式）：
        selector?if-true-expression:if-false-expression
    示例：
        awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd    表示在/etc/passwd文件下 UID大于1000的进行赋值user，小于1000的赋值sysuser,后对进行printf处理，因为需要打印两个输出所以有两个%

awk PATTERN
    PATTERN:根据pattern条件，过滤匹配的行，再做处理
        (1)如果未指定：空模式(所有行都匹配)，匹配每一行
        (2) /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
            awk '/^UUID/{print $1}' /etc/fstab      以UUID开头的行，然后输出第一个字段，
            awk '!/^UUID/{print $1}' /etc/fstab    也可写成  awk '/^[^]UUID/{print $1}' /etc/fstab
        (3) relational expression: 关系表达式，结果为“真”才会被处理
            真：结果为非0值，非空字符串
            假：结果为空字符串或0值
    示例：
        awk -F: 'i=1;j=1{print i,j}' /etc/passwd
        awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
        awk –F: '$3>=1000{print $1,$3}' /etc/passwd    如果$3大于一千则输出第一和第三列，反之小于1000的不输出
        awk -F: '$3<1000{print $1,$3}' /etc/passwd
        awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd  

        awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd

    (4) line ranges：行范围
        startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
        awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd       表示从root到nobody的行

        awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd    因为NR表示输出的行，可以表示输出的第十行到第二十行打印出来
    (5) BEGIN/END模式
        BEGIN{}: 仅在开始处理文件中的文本之前执行一次
        END{}：仅在文本处理完成之后执行一次
    示例
        awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "end file"}' /etc/passwd
        awk -F : '{print "USER USERID“;print $1":"$3} END{print "end file"}' /etc/passwd
        awk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}' /etc/passwd
        awk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}'END{print       "=============="} /etc/passwd
        seq 10 |awk ‘i=0’    为假不显示 相当于seq 10 |awk ‘i=0{print $0}’
        seq 10 |awk ‘i=1’    为真逗显示 相当于seq 10 |awk ‘i=1{print $0}’
        seq 10 | awk 'i=!i‘      取奇数行逐行处理，第一次i本为空值为假，取反就为真所以第一行打印，到第二行时i为1(真),取反为0(假)，所以第二行不打印，后进行循环

        seq 10 | awk '{i=!i;print i}‘
        seq 10 | awk ‘!(i=!i)’   也可以写成 seq 10 |awk -v i=1 'i=!i'  打印偶数行


Storyi
关注
专栏目录
linux awk 命令使用详解
congge
07-10 2万+
awk 命令使用详解
Awk里的域赋值操作和部分源码解析（$1=$1,$0=$0,FS,OFS)
星晨大海
05-16 6869
前言：cu上出了个shell题：http://bbs.chinaunix.net/thread-2319120-1-1.html第八题：GNU awk的$1=$1到底有什么作用？$0=$0呢？这题问得相当的细致。可能很多人已经常用这二个赋值语句，却半知半解。以下分二部分对这个题目进行分析建议没心情，没耐心，没兴趣的人，只需要了解下第一部分，看第二部分就表看了，很罗嗦的。第一部分：能过man上边的解析，回签这二个赋值语句的功能第二部分：awk部分源码解析（结点树简介，及域模块)          通过分析a
Awk 实例，第 1 部分
Aydge的专栏
11-07 1744
通用线程：Awk 实例，第 1 部分一种名称很奇特的优秀语言介绍 Daniel Robbins总裁兼 CEO，Gentoo Technologies, Inc.2000 年 12 月内容：捍卫 awk第一个 awk多个字段外部脚本BEGIN 和 END 块规则表达式和块表达式和块条件
linux文本命令：文本处理工具awk详解
最新发布
weixin_70208651的博客
08-05 1944
awk 是一个强大的文本处理工具，最初为 Unix 系统设计，后来被移植到包括 Linux 在内的多种操作系统中。非常适合用于格式化输出、数据提取和简单的报告生成任务。awk按行处理文本文件，默认使用空格作为字段分隔符，将每一行分割成多个字段，并使用$1,$2, …$n来引用这些字段。其中$0代表整行文本。awk设计之初是为了在文本文件中查找和替换文本，但它现在已经发展成为一个完整的编程语言，能够进行模式匹配和复杂的文本处理。awk不仅仅是一个命令，也是一完整的编程语言，用于模式扫描和处理。
[转]Awk学习笔记
heiyeluren的blog（黑夜路人的开源世界）
02-21 2946
Awk学习笔记整理：Jims of 肥肥世家jims.yang@gmail.com>Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。第一次发布时间:2004年8月6日Table of Contents1. awk简介 2. awk命令格式和选项 2.1. awk的
Linux学习26-文本处理工具AWK
你的微笑像茉莉的博客
09-16 224
for循环 $for i in {1..100};do userdel -r user$i;done
细说awk-1
sf_jiang的博客
12-22 386
AWK程序更像是一种查询语言
linux awk学习
06-22
### Linux Awk 学习知识点详解 #### 一、Awk 简介与基本用法 Awk 是一种在 Unix 和类 Unix 操作系统上广泛使用的文本处理工具，能够帮助用户快速处理文本数据，执行复杂的文本分析任务。Awk 的主要功能包括模式...
linux awk时间计算脚本及awk命令详解
01-11
在linux如果计划时间是个麻烦事， 用awk脚本如下 BEGIN {FS=:;OFS=:} {total_seconds=total_seconds+$3} total_seconds>=60 {total_seconds=total_sconds-60 $2=$2+1 } {total_minutes=total_minutes+$2 $2=$2...
awk实用程序源码.zip_awk源码_linux_linux awk 源码_makefile_实用程序
09-20
在Linux系统中，`awk`被广泛用于数据提取、格式转换和报告生成等任务。这个压缩包`awk实用程序源码.zip`包含了`awk`的源码，这对于深入理解其工作原理和学习如何编写自己的`awk`程序非常有帮助。 首先，让我们来看...
linux—— awk（1）：awk基础
weixin_44056331的博客
09-09 273
grep，sed，awk被称为linux中的“三剑客” grep更适合单纯的查找或匹配文本。 sed更适合编辑匹配到的文本。 awk更适合格式化文本，对文本进行复杂格式处理。 awk是一个报告生成器，我们可以利用awk命令将一些文本整理成我们想要的样子。 awk可以看作一门编程语言，它支持条件判断，数组，循环等功能。 awk语法：awk [options] 'Pattern{Ac...
Linux命令之awk_1
weixin_30699235的博客
01-21 76
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfre...
awk学习笔记
weixin_34006965的博客
04-30 5134
不错的学习链接：所以拷贝下来了http://sebug.net/paper/books/awk/ awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程:依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END...
Linux ---- awk命令（1）
2301_76596803的博客
06-24 189
【代码】Linux ---- awk命令（1）
awk '/#BEGIN/,/#END/{next}1' 1是什么意思？-转
xp5xp6的博客
01-17 1030
awk 'pattern{action}' file 一般awk的格式是这样的。 如果写成awk 'pattern' file，那么action默认为{print $0}； pattern如果是个定值，则判断该值是否为0（0为false，非0为true）； pattern如果是个计算表达式，则判断计算结果是否为0； pattern如果是个awk 命令，则判断其返回值是否为0。
awk1.0 — awk基础
NeilZhy
08-17 278
简介 grep，sed，awk被称为Linux文本处理的三剑客，各有特点 grep：适合文本的匹配和查找 sed：编辑匹配到的文本 awk：对文本进行格式化输出 awk简介 awk的基本语法是 awk [options] 'Pattern {Actions}' file1,file2... Actions指的是工作，awk擅长文本输出，最常用的动作是print和pri...
Linux awk [-v] {print} 命令
弘毅_hao的博客
05-13 3047
awk
文本处理三剑客之awk（1）
晓康的博客
12-13 432
有一本书叫《awk编程》，一个命令称之为编程就可以看出awk本身的功能是非常强大的。 awk本身称之为报告生成器，也就是awk可以对拿取到的数据进行一个处理然后生成一份很漂亮的报告，比如将Mysql中的数据，这个业务系统生成数据每天统计一下截止到昨天所有订单的数量和成交的金额，可以还需要按照业务来区分每一个不同的产品它的成交额，以便于前端部门像市场部门或者运营部门进行数据分析，从而进行不同的营销策略广告的投放，那都是awk的一个价值所在，那像这种情况下使用awk从我们的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值