Awk三剑客的学习笔记

最新推荐文章于 2024-05-06 16:41:00 发布
最新推荐文章于 2024-05-06 16:41:00 发布
阅读量118 收藏
点赞数
文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28443927/article/details/131313928
版权 

#!/bin/bash
# END{} 统计计算 
# 
# 统计方法       简写形式     应用场景
# i=i+1         i++         计数,统计次数
# sum=sum+???   sum+=???    求和,累加
# 
# sum;i 都是变量可以随便设置

# 统计/etc/services 中的空行数量
cat /etc/services | wc -l

awk '/^$/{i++}END{print i}' /etc/services


#统计 /etc/ssh/ssh_config 中以#开头的行 的数量
awk '/^#/{i++}END{print i}' /etc/ssh/ssh_config


#计算1+..100(awk)
[root@localhost ~] seq 1 100 | awk '{i+=$1}END{print i}'
5050


# awk自己定义数组之分开取值
[root@localhost ~]# awk 'BEGIN{a[0]=123;a[1]="test";print a[0],a[1]}'
123 test

# awk自己定义数组取出awk中的所有数组的值
# for (i in a) 将数组的下标赋值给i  取数值中的值写为 a[i]
[root@localhost ~]# awk 'BEGIN{a[0]="test1";a[1]="test2";a[2]="test3";a[3]="test5";for(i in a) print i}'
0
1
2
3

[root@localhost ~]# awk 'BEGIN{a[0]="test1";a[1]="test2";a[2]="test3";a[3]="test5";for(i in a) print a[i]}'
test1
test2
test3
test5

#处理以下文件内容,将域名取出并根据域名进行计数排序处理
# http://www.etiantian.org/index.htm1
# http://www.etiantian.org/1.htm1
# http://post.etiantian.org/index.htm1
# http://mp3.etiantian.org/index.htm1
# http://www.etiantian.org/3.htm1
# http://post.etiantian.org/2.htm1
[root@localhost ~]# cat url.txt  | awk -F"[/.]+" '{a[$2]++}END{for(i in a)print i,a[i]}'  | sort -nrk2 | column -t
www   3
post  2
mp3   1


#面试题:统计这段语句中,单词中字符数小于6的单词,显示出来.
#echo "I am oldboy teacher welcome to oldboy training class."
[root@localhost ~]# echo "I am oldboy teacher welcome to oldboy training class." | awk '{for(i=1;i<=NF;i++) if(length($i)<=6) print $i}'
I
am
oldboy
to
oldboy
class.
#=====注意awk注意;的使用=====


#用awk计算1+..100的结果
[root@localhost ~]# awk 'BEGIN{sum=0;for(i=1;i<=100;i++) sum+=i ;print sum}'
5050


#用awk取列取8列到最后一列  (多行! jar包ps检查多行)
# root       1294      1 17 21:32 pts/0    00:00:07 java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111
# root       1342      1 32 21:32 pts/0    00:00:06 java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111
# root       1373      1 74 21:32 pts/0    00:00:06 java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111

[root@localhost opt]# ps -ef |grep jar | grep -v grep | awk '{for(i=8;i<=NF;i++)printf $i" ";print ""}'
java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111 
java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111 
java -jar -Xms128M -Xmx512M /opt/test.jar --server.port=1111 


#用awk取列取3列到第6列 (for循环对列的进行循环处理 3为起始;<=控制最终列;NF为最后一列)
[root@localhost opt]# ps -ef |grep jar | grep -v grep | awk '{for(i=3;i<=6;i++)printf $i" ";print ""}'
1 3 21:32 pts/0 
1 3 21:32 pts/0 
1 3 21:32 pts/0 

#用awk取出磁盘(已用%)大于10的 磁盘名字 使用率  挂载点等信息
# 文件系统                 容量  已用  可用 已用% 挂载点
# devtmpfs                 475M     0  475M    0% /dev
# tmpfs                    487M     0  487M    0% /dev/shm
# tmpfs                    487M  7.5M  479M    2% /run
# tmpfs                    487M     0  487M    0% /sys/fs/cgroup
# /dev/mapper/centos-root   27G  2.0G   26G    8% /
# /dev/sda1               1014M  168M  847M   17% /boot
# tmpfs                     98M     0   98M    0% /run/user/0
[root@localhost ~] df -h | awk -F"[ %]+" 'BEGIN{print "磁盘名字","使用率","挂载点"}/^\/dev/{if($5>10) print$1,$(NF-1),$NF}' | column -t
磁盘名字   使用率  挂载点
/dev/sda1  17      /boot


# 需求取出最近登录的ip和用户 不要 'hecs-103465' 'sshd[16011]:'  这两列 -> 不要第4列和第5列
[root@localhost ~] cat /var/log/secure |grep "Accepted"
Feb 26 18:40:52 hecs-103465 sshd[16011]: Accepted password for root from 183.226.117.240 port 3547 ssh2
Feb 26 19:08:11 hecs-103465 sshd[16243]: Accepted password for root from 183.226.117.240 port 3254 ssh2
Feb 26 20:24:37 hecs-103465 sshd[16812]: Accepted password for root from 172.104.115.240 port 47220 ssh2
Feb 26 21:40:58 hecs-103465 sshd[17186]: Accepted password for root from 183.226.117.240 port 3140 ssh2
Feb 26 22:08:54 hecs-103465 sshd[17359]: Accepted password for root from 183.226.117.240 port 3181 ssh2


# 解决方案
# 使用awk的列切割功能来实现，例如: awk '{for(i=1;i<=NF;i++)if(i<=2||i>=5) print $i}' file.txt,这条命令会将文件file.txt中的前两列和第五列以后的内容打印出来。
[root@localhost ~]  cat /var/log/secure |grep "Accepted"|awk '{for(i=1;i<=NF;i++)if(i<=3||i>=6)printf $i" ";print " "}'  
Feb 26 18:40:52 Accepted password for root from 183.226.117.240 port 3547 ssh2
Feb 26 19:08:11 Accepted password for root from 183.226.117.240 port 3254 ssh2
Feb 26 20:24:37 Accepted password for root from 172.104.115.240 port 47220 ssh2
Feb 26 21:40:58 Accepted password for root from 183.226.117.240 port 3140 ssh2
Feb 26 22:08:54 Accepted password for root from 183.226.117.240 port 3181 ssh2
Feb 27 13:05:47 Accepted publickey for root from 59.2.141.160 port 52798 ssh2: RSA SHA256:P7d7T+VjNzuXTCwthIGsHiGgQitbY3FoKL3M8qRJOg4

# shell 统计匹配出了多少行 如果内容大于10行则只输出10行
# 可以使用管道符号将命令传递给 awk 命令，使用变量计数匹配行数，并使用 if 语句限制输出到前 10 行。示例：
grep "pattern" file.txt | awk 'BEGIN {count=0} {count++; if (count<=10) print} END {if (count>10) print count " lines matched."}'
这将从 file.txt 中查找匹配 "pattern" 的行，并输出前 10 行。如果匹配的行数大于 10 行，则最后一行会输出匹配的行数和 "lines matched." 的消息。

# sed 给第一行快速添加命令解释器
sed '1i #!/bin/bash' filename

#先匹配cat的行  进行字串替换 #\1 为在第一个括号的内容前添加#
[ansible_user1@hecs-103465 ~]$ sed '/cat/s/\(.*\)/#\1/g' 1.sh  -i

# 使用sed修改文件后缀名字
sed  -r 's/.[a-z]+$/.log/g'   #将任意后缀名修改为.log

# awk取出第六列不包含127的行
[root@VM-0-16-centos ~]# netstat -n|grep 'ESTABLISHED$' |awk '$5 !~ /127/{print}' 
tcp        0      0 172.30.0.16:38900       169.254.0.55:5574       ESTABLISHED
tcp        0      0 172.30.0.16:51096       169.254.0.138:8186      ESTABLISHED
tcp        0    184 172.30.0.16:53580       123.144.20.142:51794    ESTABLISHED
tcp        0      0 172.30.0.16:38902       169.254.0.55:5574       ESTABLISHED
tcp6       0      0 172.30.0.16:53814       139.186.141.106:16670   ESTABLISHED
tcp6       0     17 172.30.0.16:19902       172.30.0.16:51198       ESTABLISHED
tcp6       0      0 172.30.0.16:51198       172.30.0.16:19902       ESTABLISHED

#去除没有注释和非空的行
awk '!/^#/&&!/^$/{print}' nginx.conf 

#awk取出以tcp开头的行中第五列不包含127和172的行
netstat -n |awk '/^tcp/{if($5 !~ 127 && $5 !~ 172 )print}'

#快速注释以ipv6开头的行
cat ifcfg-ens32  | sed  -r 's/(^IPV6.*)/#\1/g'




# 需求取出最近登录的ip和用户 不要 'hecs-103465' 'sshd[16011]:'  这两列 -> 不要第4列和第5列
[root@localhost ~] cat /var/log/secure |grep "Accepted"
Feb 26 18:40:52 hecs-103465 sshd[16011]: Accepted password for root from 183.226.117.240 port 3547 ssh2
Feb 26 19:08:11 hecs-103465 sshd[16243]: Accepted password for root from 183.226.117.240 port 3254 ssh2
Feb 26 20:24:37 hecs-103465 sshd[16812]: Accepted password for root from 172.104.115.240 port 47220 ssh2
Feb 26 21:40:58 hecs-103465 sshd[17186]: Accepted password for root from 183.226.117.240 port 3140 ssh2
Feb 26 22:08:54 hecs-103465 sshd[17359]: Accepted password for root from 183.226.117.240 port 3181 ssh2


# 解决方案
# 使用awk的列切割功能来实现，例如: awk '{for(i=1;i<=NF;i++)if(i<=2||i>=5) print $i}' file.txt,这条命令会将文件file.txt中的前两列和第五列以后的内容打印出来。
[root@localhost ~]  cat /var/log/secure |grep "Accepted"|awk '{for(i=1;i<=NF;i++)if(i<=3||i>=6)printf $i" ";print " "}'  
Feb 26 18:40:52 Accepted password for root from 183.226.117.240 port 3547 ssh2
Feb 26 19:08:11 Accepted password for root from 183.226.117.240 port 3254 ssh2
Feb 26 20:24:37 Accepted password for root from 172.104.115.240 port 47220 ssh2
Feb 26 21:40:58 Accepted password for root from 183.226.117.240 port 3140 ssh2
Feb 26 22:08:54 Accepted password for root from 183.226.117.240 port 3181 ssh2
Feb 27 13:05:47 Accepted publickey for root from 59.2.141.160 port 52798 ssh2: RSA SHA256:P7d7T+VjNzuXTCwthIGsHiGgQitbY3FoKL3M8qRJOg4

# shell 统计匹配出了多少行 如果内容大于10行则只输出10行
# 可以使用管道符号将命令传递给 awk 命令，使用变量计数匹配行数，并使用 if 语句限制输出到前 10 行。示例：
grep "pattern" file.txt | awk 'BEGIN {count=0} {count++; if (count<=10) print} END {if (count>10) print count " lines matched."}'
这将从 file.txt 中查找匹配 "pattern" 的行，并输出前 10 行。如果匹配的行数大于 10 行，则最后一行会输出匹配的行数和 "lines matched." 的消息。

# sed 给第一行快速添加命令解释器
sed '1i #!/bin/bash' filename

#先匹配cat的行  进行字串替换 #\1 为在第一个括号的内容前添加#
[ansible_user1@hecs-103465 ~]$ sed '/cat/s/\(.*\)/#\1/g' 1.sh  -i

# 使用sed修改文件后缀名字
sed  -r 's/.[a-z]+$/.log/g'   #将任意后缀名修改为.log

# awk取出第六列不包含127的行
[root@VM-0-16-centos ~]# netstat -n|grep 'ESTABLISHED$' |awk '$5 !~ /127/{print}' 
tcp        0      0 172.30.0.16:38900       169.254.0.55:5574       ESTABLISHED
tcp        0      0 172.30.0.16:51096       169.254.0.138:8186      ESTABLISHED
tcp        0    184 172.30.0.16:53580       123.144.20.142:51794    ESTABLISHED
tcp        0      0 172.30.0.16:38902       169.254.0.55:5574       ESTABLISHED
tcp6       0      0 172.30.0.16:53814       139.186.141.106:16670   ESTABLISHED
tcp6       0     17 172.30.0.16:19902       172.30.0.16:51198       ESTABLISHED
tcp6       0      0 172.30.0.16:51198       172.30.0.16:19902       ESTABLISHED

#去除没有注释和非空的行
awk '!/^#/&&!/^$/{print}' nginx.conf 

#awk取出以tcp开头的行中第五列不包含127和172的行
netstat -n |awk '/^tcp/{if($5 !~ 127 && $5 !~ 172 )print}'

#快速注释以ipv6开头的行
sed  -r 's/(^IPV6.*)/#\1/g' ifcfg-ens32

爱你时有风.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Awk学习笔记
05-31
1. awk简介 2. awk命令格式和选项 2.1. awk的语法有两种形式 2.2. 命令选项 3. 模式和操作 3.1. 模式 3.2. 操作 4. awk的环境变量 5. awk运算符 6. 记录和域 6.1. 记录 6.2. 域 6.3. 域分隔符 7. gawk专用...
【应急响应】-Linux 篇
Zt_Zk的博客
08-27 745
发现问题要处置，遵循原则：百分百确认是非法文件，报备记录关停，摸棱两可找负责人确认，处置看沟通结果
awk切割日志笔记
小波的专栏（u012893325）
09-20 1538
//nginx 日志格式 1x.2.1xx.1xx - - [20/Sep/2017:00:00:01 +0800] xxxx-xxxx-xxxx-xxxx "GET /xxxx/xxxx/getFields?param=xxxxxxxxxxxxxx HTTP/1.1" 200 212 0.007 "-" "Apache-HttpClient/4.3.1 (java 1.5)” “xx.xxx.
AWK 学习笔记
weixin_33767813的博客
09-26 108
一、AWK基本知识普及awk其名称得自于它的创始人AlfredAho、PeterWeinberger和BrianKernighan 姓氏的首个字母。实际上AWK的确拥有自己的语言：AWK程序设计语言， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序， 这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报 表...
awk笔记
Doudou_4174的博客
12-14 585
awk笔记 awk其实是一门编程语言，它支持条件判断、数组、循环等功能。所以，我们也可以把awk理解成一个脚本语言解释器。 grep、sed、awk被称为Linux中的“三剑客” grep：更适合单纯的查找或匹配文本 sed：更适合编辑匹配到文本 awk：更适合格式化文本，对文本进行较复杂格式处理 awk基础 基本语法：awk [options] ‘program’ file1 , file2 … $ $num：标识第几列 $0：标识一整行 $NF：标识最后一列 注意：$1这种内置变量的外侧不能加入双引号，
AWK学习笔记
vecloud的博客
10-14 194
学习思路： AWK命令行书写由BEGEN Program END三部分构成 BEGEN：在AWK读取输入流文本行处理之前执行，用于初始化变量、定义输出表头信息Program：定义如何处理读的数据，由两部分构成：pattern{action statements;..}，由模式和动作构成，匹配模式则执行动作。END在文件逐行处理完成后执行END语句，用于统计结果、生成报告处理流程： AWK将处理对象视为二维表逐行读取逐行处理，默认以空白符作为分隔符（可以使用-F指定分隔符），将文件内容...
linux awk学习笔记
01-11
此为linux中awk语句的详细使用教程。
linux下AWK学习笔记
09-30
awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。
awk学习笔记.pdf
06-18
关于AWK的简单笔记类教程，内容非本人缩写，所以不要分，我下载的是DOC版，顺手做成了PDF版，有书签
awk简介与学习笔记收集第1/3页
10-30
Awk学习笔记 整理：Jims of 肥肥世家 <jims>
awk学习笔记
Squeen_的专栏
09-21 1004
参考资料：《sed & awk》读书笔记之 awk 篇 awk，sed，grep俗称linux下的三剑客。 awk是一门模式匹配的编程语言，因为它的主要功能是用于匹配文本并处理，同时它有一些编程语言才有的语法，例如函数、分支循环语句、变量等，当然比起我们常见的额编程语言，awk相对简单。 使用awk我们可以做以下事情： 将文本文件视为由字段和记录组成的文本数
AWK学习笔记总结
weixin_33726318的博客
08-24 171
写在前面：如果此文有幸被某位朋友看见并发现有错的地方，希望批评指正。如有不明白的地方，愿可一起探讨。awk是个什么东西最简单地说，AWK是一个用于处理文本的编程语言工具，是linux及UNIX环境中现有的功能最强大的数据处理引擎之一。AWK提供了极其强大的功能：可以进行正则表达式的匹配，样式装入，流控制，数学运算符，程序控制语句以及甚至拥有内置的变量和函数。它具备了一...
AWK笔记
冯立彬的博客
04-11 5939
一、AWK基本介绍     AWK，它的名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母，有的地方说AWK是AWK是一种优良的文本处理工具 ，但它更是一个小型的编程语言，广泛应用LINUX环境中，帮助我们进行流控制、数学运算、进程控制语句甚至于内置的变量和函数。它可以做的事情很多，像任何其它语言如C、C++、JAV
JAVA 学习·泛型（二）——通配泛型
wr114514的博客
05-02 1101
介绍了Java泛型中的重要知识点——通配泛型及其应用。
STM32CubeMX学习笔记30---FreeRTOS内存管理
最新发布
H2z1220的博客
05-06 854
FreeRTOS 操作系统将内核与内存管理分开实现，操作系统内核仅规定了必要的内存管理函数原型，而不关心这些内存管理函数是如何实现的，所以在 FreeRTOS 中提供了多种内存分配算法（分配策略），但是上层接口（API）却是统一的。这样做可以增加系统的灵活性：用户可以选择对自己更有利的内存管理策略，在不同的应用场合使用不同的内存分配策略。
Java---类和方法的再学习
m0_74012211的博客
05-05 1141
Java类与对象
sed awk grep 三剑客
03-16
sed、awk和grep是Linux/Unix系统中非常常用的三个命令行工具，被称为“三剑客”。它们都是用来处理文本文件的工具，具体功能如下： 1. sed：用于对文本文件进行编辑和转换，可以实现文本替换、删除、插入、打印等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值