三剑客之awkd的基本使用

最新推荐文章于 2022-04-28 20:08:24 发布
最新推荐文章于 2022-04-28 20:08:24 发布
阅读量214 收藏
点赞数
文章标签： awk
原文链接：http://blog.51cto.com/11954869/2340537
版权

1、awk的使用

1.1 基本的awk执行过程

#passwd文件的第二行的第一列和第二列

[root@xiaojin oldboy]# awk -F ":" 'NR==2{print $1,$2}' /etc/passwd

bin x

awk 参数 ‘模式{动作}’ 文件

awk 参数 ‘条件（找谁）{干啥}’ 文件

1.2模式匹配：模式与动作

通过正则表达式作为模式

模拟环境

mkdir -p /server/files/

cat >>/server/files/reg.txt<<EOF

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Meng Feixue 80042789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

EOF

##匹配xiaoyu的姓氏和ID号码

[root@oldboyedu01-nb files]# awk '/Xiaoyu/' reg.txt

Zhang Xiaoyu 390320151 :155:90:201

[root@oldboyedu01-nb files]# awk '/Xiaoyu/{print $1,$2,$3}' reg.txt

Zhang Xiaoyu 390320151

###awk '第2列中包含Xiaoyu' reg.txt

[root@oldboyedu01-nb files]# awk '$2~/Xiaoyu/' reg.txt

Zhang Xiaoyu 390320151 :155:90:201

[root@oldboyedu01-nb files]# awk '$2~/Xiaoyu/{print $1,$2,$3}' reg.txt

Zhang Xiaoyu 390320151

###显示所有以41开头的ID号码的人的全名和ID号码

[root@oldboyedu01-nb files]# awk '$3~/^41/' reg.txt

Zhang Dandan 41117397 :250:100:175

Liu Bingbing 41117483 :250:100:175

[root@oldboyedu01-nb files]# awk '$3~/^41/{print $1,$2,$3}' reg.txt

Zhang Dandan 41117397

Liu Bingbing 41117483

###显示所有ID号码最后一位数字是1或5的人的全名

[root@oldboyedu01-nb files]# awk '$3~/[15]$/' reg.txt

Zhang Xiaoyu 390320151 :155:90:201

Wu Waiwai 70271111 :250:80:75

Wang Xiaoai 3515064655 :50:95:135

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

[root@oldboyedu01-nb files]# awk '$3~/[15]$/{print $1,$2}' reg.txt

Zhang Xiaoyu

Wu Waiwai

Wang Xiaoai

Li Youjiu

Lao Nanhai

###显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135

gsub(/目标/,"替换为什么",第几列)

gsub(/目标/,"替换为什么") == gsub(/目标/,"替换为什么",$0)

[root@oldboyedu01-nb files]# awk '{gsub(/:/,"$",$4)}' reg.txt

[root@oldboyedu01-nb files]# awk '{gsub(/:/,"$",$4);print}' reg.txt

Zhang Dandan 41117397 $250$100$175

Zhang Xiaoyu 390320151 $155$90$201

Meng Feixue 80042789 $250$60$50

Wu Waiwai 70271111 $250$80$75

Liu Bingbing 41117483 $250$100$175

Wang Xiaoai 3515064655 $50$95$135

Zi Gege 1986787350 $250$168$200

Li Youjiu 918391635 $175$75$300

Lao Nanhai 918391635 $250$100$175

[root@oldboyedu01-nb files]# awk '$2~/Xiaoyu/' reg.txt

Zhang Xiaoyu 390320151 :155:90:201

[root@oldboyedu01-nb files]# awk '$2~/Xiaoyu/{gsub(/:/,"$");print}' reg.txt

Zhang Xiaoyu 390320151 $155$90$201

1.3 特殊模式BEGIN和END

BEGIN{} BEGIN里面的内容，会在awk读取文件内容之前运行。

用来计算、测试

END{}*** END{}里面的内容，会在awk读取完文件的最后一行之后运行。

用来显示最终结果。

先计算，END显示结果。

##统计/etc/services文件里面的空行数量

root@oldboyedu01-nb files]# awk '/^$/{i=i+1}END{print i}' /etc/services

16

[root@oldboyedu01-nb files]# # 先计算END{显示最终结果}

统计出现多少次 计数

i=i+1 == i++

1.4 awk的数组计算

处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)

http://www.etiantian.org/index.html

http://www.etiantian.org/1.html

http://post.etiantian.org/index.html

http://mp3.etiantian.org/index.html

http://www.etiantian.org/3.html

http://post.etiantian.org/2.html

[root@oldboyedu01-nb files]# cat url.txt

http://www.etiantian.org/index.html

http://www.etiantian.org/1.html

http://post.etiantian.org/index.html

http://mp3.etiantian.org/index.html

http://www.etiantian.org/3.html

http://post.etiantian.org/2.html

[root@oldboyedu01-nb files]# awk -F "[/.]+" '{print $2}' url.txt

www

www

post

mp3

www

post

[root@oldboyedu01-nb files]# awk -F "[/.]+" '{h[$2]=h[$2]+1;print h["www"]}' url.txt

1

2

2

2

3

3

[root@oldboyedu01-nb files]# awk -F "[/.]+" '{h[$2]=h[$2]+1}END{print h["www"],h["post"],h["mp3"]}' url.txt

3 2 1

[root@oldboyedu01-nb files]# awk -F "[/.]+" '{h[$2]=h[$2]+1}END{for(pol in h) print pol,h[pol] }' url.txt

www 3

mp3 1

post 2

总结：

1.awk数组进行统计

i=i+1 == i++ 统计次数 计数

i=i+$n == i+=$n 累计相加 累加

2.awk执行过程

3.awk通过正则作为模式

4.BEGIN和END特殊模式

转载于:https://blog.51cto.com/11954869/2340537

awk详解
jj1130050965的博客
03-13 1万+
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥
linux文本处理工具——grep、sed、awk用法
qq_60200126的博客
08-13 945
1.字符的过滤grep grep命令是linux下的文本处理工具，这些命令都是用于对一个文件和文本执行重复搜索的工具。我们可以通过grep命令指定特定的搜索条件来搜索文件及其内容以获取有用的信息。 grep时全局搜索，其抓取数据是贪婪模式，即不会漏掉过滤内容，但准确性也会降低 2.grep的基础搜索文本指令 egrep = grep -E grep -e ”root|nologin“ passwd 搜索含有root和nllogin的行 = grep -e root -e nologin passwd （同
shell-----正则表达式之awk
qq_42761527的博客
12-04 357
一.awk工具的概述 在linux系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于shell脚本，完成各种自动化配置任务 二.awk的常见用法 awk的命令格式如下 awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2... //过滤并...
awk命令详解【非常实用】
NBA_1的博客
04-28 1万+
shell三剑客：grep、sed、awk cut -c：字符数来截取 character -f：字段来截取 field -d：指定分隔符 默认是tab awk命令详解 awk其实可以看做一种编程语言。 awk的来源：三个人名： Alfred Aho，Peter Weinberger，Brian Kernighan awk工作原理 gawk (gnu awk) Unix中awk的GNU版本，完成grep和sed的工作 。 支持数学运算，流程该控制内置大量的变量和函数。 awk命令工作原理 与sed一样, 均
用java实现"awk -d"功能(保留多行重复)
疯狂的菠菜
06-07 316
一般用过linux脚本的都知道"awk -d"的用法: 只显示有重复数据行，每种重复行只显示其中一行. 而我的需求是希望显示所有的重复行, 而不是只是一行. 因为目前对shell脚本不是很熟练, 下面是java代码的实现,感觉比想象的复杂, 备忘一下: [code="java"]public class ReadCardCode { public static void m...
Shell文本处理三剑客之sed的使用
01-08
sed 是 stream editor 的缩写，流编辑器，主要用于对标准输出或文件进行处理。 语法： stdout | sed [option] pattern command sed [option] pattern command file1 常用选项（option） # -n 只打印静默模式匹配...
电子技术三剑客之电路识图
04-06
本书是电子技术三剑客丛书的第2本，以易于理解的图形和表格方式，简明扼要地讲解了电子技术中典型电路的识图技术。内容包括串联 介绍了关于电子技术三剑客之电路识图的详细说明，提供电子原理应用的技术资料的下载。
iWeb开源三剑客之iWebIM v0.7.3 beta.zip
06-18
iWeb开源三剑客是针对Web开发的一组高效、便捷的工具集合，旨在提供全面的Web应用程序解决方案。其中，iWebIM是这个系列中的重要组件，专注于即时通讯（Instant Messaging）功能，允许用户在Web环境下实现顺畅的聊天...
网络安全三剑客之sed的用法+语法
08-05
网络安全三剑客之sed的用法+语法
实例讲解4--awk命令d
swming12的专栏
03-30 436
5．awk用户定义变量 用户自定义变量用以存放数据以及进行运算。 6．awk算术运算 算术运算在内部以浮点形式完成，也包含一般的加、减、乘、除、余和乘幂，运算符分别为”+”、”-“、”*”、”/”、”%”和”^”。 a) awk  ‘$1==”Feb” {sum=$2+$3}  END{print sum}’  filename b) awk  ‘$1==”ATOM” {a=a
详解awk（一）awk基础知识、选项、程序段解析与实例
chinaltx的博客
01-13 1337
目录 序：回顾shell三剑客的关系          一、awk基础 1.1awk简介 1.2基本语法          二 awk中OPTIONS的说明 2.0 参数列表 2.1 -f program-file 2.2 -F fs 2.3 -v var =val 2.4 -d [file] 2.5 -h 2.6 -P 待补充 2.7 -S 待补充 2.8 -V 显示...
关于awk命令的一些知识（第二章）
zsx0728的博客
11-26 427
文章目录2 运行awk2.1 awk调用方法2.2 命令行中的常用参数2.2.1 -F参数2.2.2 -f参数2.2.3 -v参数2.2.4 -d参数2.3 常用内置变量2.3.1 ARGV 和 ARGC2.3.2 FNR2.3.3 NF2.3.4 NR参考文档 2 运行awk     本文介绍如何运行awk的命令行选项，以及awk和gawk如何处理非选项...
awk '/^d/' 的理解使用
weixin_34163741的博客
09-25 4921
前言 AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识。awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk，用命令可以查看正在应用的awk的来源（ls -l /bin/a...
awk简明教程
weixin_34392906的博客
07-10 157
我在这里的教程并不想面面俱到，全是示例，基本无废话。 我只想达到两个目的： 1）你可以在乘坐公交地铁上下班，或是在坐马桶拉大便时读完（保证是一泡大便的工夫）。 2）我只想让这篇博文像一个火辣的脱衣舞女挑起你的兴趣，然后还要你自己去下工夫去撸。 废话少说，我们开始脱吧（注：这里只是topless）。 起步上台 我从netstat命令中提取了如下信息作为用例：$ cat netstat.tx...
awk命令详解
阿鹏的笔记
10-16 1623
shell三剑客：grep、sed、awkcut -c：字符数来截取 character -f：字段来截取 field -d：指定分隔符 默认是tabawk命令详解awk其实可以看做一种编程语言。 awk的来源：三个人名： Alfred Aho，Peter Weinberger，Brian Kernighanawk工作原理gawk (gnu awk) Unix中awk的G
实例讲解4--awk命令h
swming12的专栏
04-06 757
15．awk的FS、OFS和ORS使用： 以’|’为分隔符输出各个域   awk ‘BEGIN{OFS=”|”}{print $1,$2,$3,$4}’ filename   awk 'BEGIN {OFS=";"; ORS="\n\n"} {print $1, $2}' filename   awk 'BEGIN {FS=","}; {print $2}' 16．awk的sprint
Linux shell中的-d,-f,-e,-n的作用
陌上花开缓缓归以的博客
06-14 2万+
1，-d ->dirtionnary 判断目录是否存在 例： -d /tmp // 返回为真便是/tmp是文件夹目录 2，-e ->exist 判断是否存在 例： -e filename // 返回为真表示filename文件存在 3, -f ->file 判断是不是文件 例： -f file // 返回为真表示file是文件。 ...
1. awk, gawk命令使用
zhouyongsdzh的专栏
07-15 5298
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfr
Linux中awk工具的使用
热门推荐
谢公子的博客
10-09 4万+
目录 awk awk的用法 awk中字符的含义 print 打印 字符匹配 格式化输出 举例 awk awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，默认以空格为分隔符将每行切片，切开的部分再进行各种分析处理。 awk是行处理器,相比较屏幕处理的优点，在处理庞大文件时不会出现内...
docker三剑客之swarm
最新发布
04-18
Docker Swarm是Docker官方提供的容器编排工具，它是Docker三剑客之一。它的主要功能是将多个Docker主机组成一个集群，以实现容器的高可用性和负载均衡。 Swarm的核心概念是服务（Service），一个服务由多个容器组成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值