Shell学习（awk）-2018.12.21

最新推荐文章于 2024-10-18 21:49:12 发布
最新推荐文章于 2024-10-18 21:49:12 发布
阅读量223 收藏 1
点赞数 1
分类专栏： Shell 文章标签： awk shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chauncey_Qin/article/details/85156491
版权

6.awk(上)

    awk支持分段功能，且无需脱义，不更改源文件

    awk  '{print $0}' test.txt        #本条命令的含义指打印test.txt,$0匹配所有段   ，相当于cat该文件 

[root@Chauncey ~]# awk '{print $0}' awktest 
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
yeyunyi:sbin:a:admin:yeyunyi
[root@Chauncey ~]# cat awktest 
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
yeyunyi:sbin:a:admin:yeyunyi

    awk -F ':' '{print $1}' test.txt       #awk的-F选项时指定分隔符，$1指第一列，如果没有指定分隔符，默认以空格或空白字符为分隔符打印

[root@Chauncey ~]# awk -F ':' '{print $1}' awktest    #-F指定段的分隔符为：
root
admin
yeyunyi
root
root
yeyunyi
[root@Chauncey ~]# awk '{print $1}' awktest      #不指定分隔符时，以空格或空字符来做分隔  
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
yeyunyi:sbin:a:admin:yeyunyi
[root@Chauncey ~]# cat awktest 
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
yeyunyi:sbin:a:admin:yeyunyi
[root@Chauncey ~]# 

    awk -F ':' '{print $1,$2,$3}' test.txt     打印1段，2段，3段，打印几段写几段，中间用逗号隔开，也可以将逗号换成其他符号，但该符号要使用双引号：awk -F ':' '{print $1"#"$2"#"$3}' test.txt

[root@Chauncey ~]# awk -F ':' '{print $1,$2,$3}' awktest 
root sbin 1000
admin sbin 1001
yeyunyi sbin 1002
root sbin abcd
root sbin abcd
yeyunyi sbin a
[root@Chauncey ~]#

    awk的匹配功能：awk ‘/word/’ filename，也可以指定第一段包含oo的行，eg：awk -F ‘:’ ‘$1 ~ /word/' filename 这里的波浪号，意为匹配，同样支持正则表达式，awk -F ':' '$n ~ /RE/' filename,eg： awk -F ':' '$1 ~ /o+/' test.txt ，另，awk无需加脱义符号

    awk支持多个表达式一起写，有两种写法：

[root@Chauncey awk]# awk -F ':' '/root/ {print $1,$3} /user/ {print $1,$3,$4}' test.txt
root 0
operator 11
saslauth 499 76
user1 500 500
[root@Chauncey awk]# awk -F ':' '/root|user/ {print $0}' test.txt
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
user1:x:500:500::/home/user1:/bin/bash
[root@Chauncey awk]#

    awk中“”的使用，数值加上“”，相当于sort不加-n，以字符串算，如果直接使用数字，则表示数值

    awk数学运算表达式的使用：

       等于： awk -F ':' '$3==0 {print $1}' test.txt

       大于等于：awk -F ':' '$3>=0 {print $1}' test.txt

       不等于：awk -F ':' '$7!="/sbin/nologin" {print $0}' test.txt

7.awk(下)

    awk -F ':' '$3<$4' /etc/passwd     #字段之间比较大小，此示例为3，4段之间大小的比较，属于运算都可以用于段与段之间比较

[root@Chauncey ~]# awk -F ':' '$3<$4' passwd 
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@Chauncey ~]# awk -F ':' '$3==$4' passwd  
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin
User1:x:500:500::/home/User1:/bin/bash

    awk -F ':' '$3>"5" && $3<"7"' /etc/passwd     #第三段大于第五段且第三段小于7的内容

[root@Chauncey ~]# awk -F ':' '$3>$5 && $3<"7"' passwd        
ntp:x:38:38::/etc/ntp:/sbin/nologin
User1:x:500:500::/home/User1:/bin/bash
yeyunyi:x:501:0::/home/yeyunyi:/bin/bash

    awk -F ':' '$3>1000 || $7=="/bin/bash"'' /etc/passwd      #第三段大于1000或第7段等于/bin/bash的内容

[root@Chauncey ~]# awk -F ':' '$3>1000 || $7=="/bin/bash"' passwd            
root:x:0:0:root:/root:/bin/bash
User1:x:500:500::/home/User1:/bin/bash
yeyunyi:x:501:0::/home/yeyunyi:/bin/bash

    head -5 /etc/passwd | awk -F ':' '{OFS="#"}{print $1,$3,$4}' /etc/passwd    #OFS是内置变量，-F是分段前的分隔符，OFS是输出后的分隔符

[root@Chauncey ~]# head -5 passwd | awk -F ':' '{OFS="#"}{print $1,$3,$4}' 
root#0#0
bin#1#1
daemon#2#2
adm#3#4
lp#4#7

    awk -F ':' '{OFS="#"}{if($3>1000){print $1,$2,$3,$4}}' /etc/passwd      #相当于awd -F ':' '{OFS="#"} $3>1000{print $1,$2,$3,$4}',只不过这个句式省略了if

[root@Chauncey ~]# awk -F ':' '{OFS="#"}{if ($3>1000) {print $1,$2,$3,$4}}' awktest 
admin#sbin#1001#admin
yeyunyi#sbin#1002#admin
root#sbin#abcd#admin
[root@Chauncey ~]# awk -F ':' '{OFS="#"} $3>1000 {print $1,$2,$3,$4}' awktest         
admin#sbin#1001#admin
yeyunyi#sbin#1002#admin
root#sbin#abcd#admin
[root@Chauncey ~]#

    head -n3 /etc/passwd | awk -F ':' '{print NF}'      #NF表示将段号打印出来，可用作判断条件

    head -n3 /etc/passwd | awk -F ':' '{print NR}'       #NR表示将行号显示出来，可用作判断条件#

    awk 'NR>40' /etc/passwd

[root@Chauncey ~]# cat awktest 
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]# awk -F ':' '{print NF":"$0}' awktest  
5:root:sbin:1000:admin:yeyunyi
5:admin:sbin:1001:admin:yeyunyi
5:yeyunyi:sbin:1002:admin:yeyunyi
5:root:sbin:abcd:admin:yeyunyi
10:root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]# awk -F ':' '{print NR":"$0}' awktest  
1:root:sbin:1000:admin:yeyunyi
2:admin:sbin:1001:admin:yeyunyi
3:yeyunyi:sbin:1002:admin:yeyunyi
4:root:sbin:abcd:admin:yeyunyi
5:root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]#
[root@Chauncey ~]# awk -F ':' '(NR>=3){print NR":"$0}' awktest   
3:yeyunyi:sbin:1002:admin:yeyunyi
4:root:sbin:abcd:admin:yeyunyi
5:root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]# awk -F ':' '(NF>=5){print NF":"$0}' awktest      
5:root:sbin:1000:admin:yeyunyi
5:admin:sbin:1001:admin:yeyunyi
5:yeyunyi:sbin:1002:admin:yeyunyi
5:root:sbin:abcd:admin:yeyunyi
10:root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]#

    awk -F ':' 'NR<20 && $1 ~ /root/' /etc/passwd    #NR，NF都可以这样使用

[root@Chauncey ~]# awk -F ':' 'NR<5 && $1 ~ /root/ {print NR":"$0}' passwd    
1:root:x:0:0:root:/root:/bin/bash
[root@Chauncey ~]# awk -F ':' 'NR<5 && $1 ~ /root/' passwd                 
root:x:0:0:root:/root:/bin/bash
[root@Chauncey ~]# 

    head -n 3 /etc/passwd |awk -F ':' '$1="root"'     #一个等号，是将root赋值给了第一段，而如果为==，则指第一段的值是root

[root@Chauncey ~]# cat awktest 
root:sbin:1000:admin:yeyunyi
admin:sbin:1001:admin:yeyunyi
yeyunyi:sbin:1002:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi
root:sbin:abcd:admin:yeyunyi:root:sbin:abcd:admin:yeyunyi
[root@Chauncey ~]# head -n 3 awktest | awk -F ':' '$1="root"'     
root sbin 1000 admin yeyunyi
root sbin 1001 admin yeyunyi
root sbin 1002 admin yeyunyi
[root@Chauncey ~]# head -n 3 awktest | awk -F ':' '$1=="root"'
root:sbin:1000:admin:yeyunyi
[root@Chauncey ~]#

    awk -F ':' '{(tot=tot+3)};END {print tot}' /etc/passwd      #tot求和，tot值每一次循环都会把第三段的值相加，从0开始，第一次是0加第一行第三段，第二次加第二行第三段......这样可以求一列的和

[root@Chauncey ~]# awk -F ':' '{(tot=tot+$3)};END {print tot}' /etc/passwd
2065

    awk -F ':' '{if($1=="root"){print $0}}' /etc/passwd      #判断，如果第一段等于root，打印所有的段

    awk的中和格式参考：awk -F ‘XXX’ ‘BEGIN{} {if(条件) (语句1；语句2) } END {}’

 

Chauncey_Qin
关注
专栏目录
centos7( 3.10.0-327.el7.x86_64) 重启问题
猿类崛起
06-27 2996
    centos7( 3.10.0-123.el7.x86_64) 重启问题  http://aperise.iteye.com/blog/2326082 centos7( 3.10.0-327.el7.x86_64) 重启问题 http://aperise.iteye.com/blog/2425717 centos7( 3.10.0-327.el7.x86...
CentOS 7.X 源码编译安装MariaDB-10.2.X
海渊_haiyuan的博客
01-01 2639
CentOS 7 编译安装MariaDB-10.2.XCentOS 7下mariadb-10.1.22 源码编译安装过程笔记，希望对大家有帮助。 下载文件https://mariadb.com/ 或 https://downloads.mariadb.org/mariadb/10.2.11/
源码包的下载下载链接： https://mirrors.tuna.tsinghua.edu.cn/m
文本三剑客之awk详解
qq_45175992的博客
08-26 349
文本三剑客之awk内置变量基本语法基本命令操作符基本命令实例引入shell变量内置函数流程控制语句条件判断语句循环语句 awk是一个文本截取工具 内置变量 名称 用途 NF 每行$0的字段数 NR 当前处理的行号 FS 当前的分隔符，默认是空白字符 OFS 当前的输出分隔符，默认是一个空格字符 OFS => 输出分隔符 =>默认是一个空格字符 #显示第一列和第七列，中间用---隔开 awk -F: 'BEGIN{OFS="---"}{print $1,$7}' /
awk使用特殊字符作为字段分隔符
fengzhw的专栏
12-02 5098
hive一般用 0x01做字段分隔符。 文本后续处理，如果用awk，怎么区分字段？ awk -F '\\001' '{ print $1 }' a.txt 这就好了，关键就在于shell/awk双层转义。。。 ...
awk中RS、ORS、FS、OFS的区别和联系小结
qingqingni1990的博客
10-08 599
学习awk时，一定要记得动手去实践，只有在实践中才能发现问题，以下就我在学习中和实践中的经验，总结一下RS,ORS,FS,OFS的区别和联系。 一，RS与ORS 1，RS是记录分隔符，默认的分隔符是\n，具体用法看下 复制代码 代码如下: [root@krlcgcms01 mytest]# cat test1     //测试文件  111 222  333 444  555 6
Linux中后面带有波浪号的文件
liu1075538266的专栏
05-09 9254
今天在写代码的时候无意间发现，在使用vim编辑过某个文件之后，在该路径下会出现一个同名的、但是最后带一个波浪号的文件。 身为强迫症的我看到这种文件的存在很是不舒服，可又不敢乱删文件，于是乎我查了一下这讨厌的波浪号文件究竟是干什么的：原来，这些结尾带波浪号的文件是文本编辑器在编辑文件时的备份文件！ 既然如此，那我就可以无所顾忌的删掉他们啦。 可以使用rm命令来删除所有结尾带波浪号的文件
Shell学习（分发expect）-2018.12.29
Chauncey_Qin的博客
04-10 263
27.分发系统介绍--expect expect是一种脚本语言，可以实现传输文件，实现远程执行命令，上线代码（将开发人员开发的代码发送到服务器上去），不需输入密码，针对多终端，多访问量，多接口的环境，可以用分发系统，对每段时间更新的代码分别发布到终端上 首先要准备一台模板机器，有最新的代码 要知道所有设备的IP 要知道这些用户的密码 expect脚本借助RSVNC推送脚本到这些机器上去 ...
shell mysql awk_【Shell】Shell编程之awk命令
weixin_35443436的博客
01-30 120
awk简介awk是一种用于处理数据和生成报告的UNIX编程语言。处理的数据可以来自标准输入、一个会多个文件，也可以来自某个进程的输出。awk以逐行方式扫描文件(或输入)，从第一行到最后一行，以查找匹配某个特定模式的文本行，并对这些文本执行(括在花括号中的)指定动作，如果只给出模式而未指定动作，则所有匹配该模式的行都显示在屏幕上；如果只指定动作而未定义模式，会对所有输入行执行指定动作。awk格式aw...
9. kafka shell脚本用法详解
热门推荐
阿飞Javaer的专栏
07-14 1万+
kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下： 脚本名称 用途描述 connect-distributed.sh 连接kafka集群模式 connect-standalone.sh 连接kafka单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh ...
Linux系统管理
qq_50685659的博客
01-17 1453
系统管理类命令 ●ls 显示指定工作目录下的内容 ●-a 显示所有文件，包括隐藏文件（以.开头的文件） ●- A 显示所有文件，不包括.和… ●-d 仅列出目录本身，不列出目录下的文件 ●-l 列出长格式，显示文件的属性信息 ●-h 需要和-l搭配使用，将文件大小以易读的方式显示k,m,g ●-i 需要和-l搭配使用，可以显示出文件的inode ●-r 以倒序方式显示 ●-s 以文件大小排序 ●-t 以文件修改时间排序 ●pwd 显示当前工作目录 ●- P ●- L ●cd 改变当前工作目录
awk 中的难懂符号解释
weixin_30374009的博客
04-09 206
awk中NF和NR的意义，其实你已经知道NF和NR的意义了，NF代表的是一个文本文件中一行（一条记录）中的字段个数，NR代表的是这个文本文件的行数（记录数）。 看个例子： cal 9 2003 September 2003 # NR=1;NF=2 Su Mo Tu We Th Fr Sa # NR=2;NF=7 123...
Linux awk简介
08-25 625
使用awk命令时，先输入awk指令，然后输入模式或者需要执行的动作（用单引号括起来），最后指定输入文件。若未指定输入文件，则使用键盘进行标准输入。然后awk会将输入的每行数据用空格或者tab分隔开，每个字段用以$1开始的各字段变量进行识别。awk命令的格式：awk 'pattern' filename awk '{action}' filename awk 'pattern {action}' fi
文本处理之awk命令
weixin_46219545的博客
04-24 1831
awk是什么？ awk是linux里的一个文本处理的命令(工具)，支持数学运算，流程该控制大量的变量和函数 awk命令的工作原理？ 与sed命令一样，均是一行一行的读取、处理 sed作用于一整行的处理，而awk将一行分成数个字段来处理 awk 默认的分隔符是空白(空格、tab键) -==================================== awk的数据字段变量 $0 表示整行文本 $1 表示文本中第一个数据字段 $2 表示文本中第二个数据字段 $n 表示文本中第n个数据字段 如/etc
awk命令详解（二）
oldmanw的博客
11-20 3888
第一篇的链接：Linux awk命令总结（一） 1. 处理数组 为了在单个变量中存储多个值，许多编程语言都提供了数组，在awk中使用关联数组提供数组的功能。 关联数组类似于散列表和字典，索引值可以是任意的文本字符串，对索引的唯一要求是每个索引字符串都能够唯一的对应赋值给它的数据元素。 （1）定义数组变量 可以使用标准的赋值语句来定义数组变量，格式如下： array[index] = ...
awk命令学习记录
最新发布
liangtaox8的博客
10-18 160
awk命令的简单学习记录
awk工具的基本使用
ZHX2285的博客
10-16 135
比如我们相要获取/etc/passwd中的第二行文件内容，就可以使用head -n 2 将这个文件中的头两行内容获取出来，随后使用tail -n 1将这两行内容中的最后一行内容获取出来，如上图所示，可以先用grep将命令输出结果需要的一行内容过滤出来，然后将过滤出来的结果交给awk 根据空白字符，将过滤结果分隔成多个部分，最后使用'{print $2}'将结果输出。如上图所示，当我们去获取某一行中的某一部分内容的时候，awk工具非常常用，如上图所示，是使用awk工具获取一行内容中的多个部分。
linux三剑客
2302_80012625的博客
10-12 936
它不仅能进行列的操作，还可以结合条件、格式化输出、统计等功能，进行非常复杂的数据处理。它能够使用特定的模式匹配（包括正则表达式）搜索文本，并输出匹配的行。的流程为：读取一行 → 执行匹配或操作 → 输出结果 → 处理下一行，直到文件结束。的优势在于它不仅能够搜索和编辑，还可以根据字段（列）进行复杂的逻辑处理。的优势在于它不仅能够搜索和编辑，还可以根据字段（列）进行复杂的逻辑处理。可以逐行读取文件，按照列分析数据，并对符合条件的数据执行操作。可以逐行读取文件，按照列分析数据，并对符合条件的数据执行操作。
文本处理工具
weixin_71016778的博客
10-13 630
grep root passwd #过滤root关键字grep -i root passwd ##后略大小写grep -E “” passwd ##root字符之后不能有字符grep -数字 ##显示过滤行以及上面几行和下面几行grep -n ##显示匹配的行所在行号grep -A ##显示过滤行以及下面几行grep -B ##显示过滤行以及上面几行grep -v ##反向过滤。
awk -F. '{print $1}' $filename
08-17
在你的命令中，你想使用 awk 命令截取文件名的前缀，并且文件名存储在变量 `$filename` 中。为了实现这个目标，你可以使用以下命令： ```shell echo "$filename" | awk -F. '{print $1}' ``` 解释： 1. `echo "$...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值