Shell 编程之awk

最新推荐文章于 2024-07-21 23:45:27 发布
最新推荐文章于 2024-07-21 23:45:27 发布
阅读量482 收藏
点赞数
分类专栏： RHCE 文章标签： unix linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63172083/article/details/130659297
版权

 

目录

一、简介

 二、正则表达式和文本三剑客

1、显示/etc/passwd文件中以nologin结尾的行；

 2、找出"netstat  -tan"命令的结果中，以'LISTEN'后跟0或多个空白字符结尾的行

3、在/etc/fstab文件中不以#开头的行的行首增加#号

4、删除/tc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

5、统计出apachel的access.log中访问量最多的5个lP

一、简介

  • awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具，awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母

  • awk是一种处理文本数据的编程语言，适合文本处理和报表生成，awk的设计使得它非常适合于处理由行和列组成的文本数据。

  • awk 还是一种编程语言环境，它提供了正则表达式的匹配，流程控制，运算符，表达式，变量以及函数等一系列的程序设计语言所具备的特性，它从C语言中获取了一些优秀的思想

 二、正则表达式和文本三剑客


1、显示/etc/passwd文件中以nologin结尾的行；

两种方法皆可

[root@srever ~]# awk '/nologin/{print $NF}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
User:/var/ftp:/sbin/nologin
User:/:/sbin/nologin
Dumper:/:/sbin/nologin
bus:/:/sbin/nologin
polkitd:/:/sbin/nologin
Stack:/var/run/avahi-daemon:/sbin/nologin
access:/dev/null:/sbin/nologin
colord:/var/lib/colord:/sbin/nologin
user:/var/cache/clevis:/usr/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
sssd:/:/sbin/nologin
geoclue:/var/lib/geoclue:/sbin/nologin
libstoragemgmt:/var/run/lsm:/sbin/nologin
server:/var/lib/setroubleshoot:/sbin/nologin
Daemon:/var/run/pipewire:/sbin/nologin
helper:/:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
service:/nonexisting:/sbin/nologin
instances:/nonexisting:/sbin/nologin
gnome-initial-setup:x:987:982::/run/gnome-initial-setup/:/sbin/nologin
SSH:/usr/share/empty.sshd:/sbin/nologin
chrony:x:986:981::/var/lib/chrony:/sbin/nologin
server:/var/lib/dnsmasq:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
Killer:/:/usr/sbin/nologin

[root@server ~]# grep -n "nologin$" /etc/passwd
2:bin:x:1:1:bin:/bin:/sbin/nologin
3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
4:adm:x:3:4:adm:/var/adm:/sbin/nologin
5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10:operator:x:11:0:operator:/root:/sbin/nologin
11:games:x:12:100:games:/usr/games:/sbin/nologin
12:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13:nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
14:systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
15:dbus:x:81:81:System message bus:/:/sbin/nologin
16:polkitd:x:998:996:User for polkitd:/:/sbin/nologin
17:avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbinnologin
18:tss:x:59:59:Account used for TPM access:/dev/null:/sbin/nologin
19:colord:x:997:993:User for colord:/var/lib/colord:/sbin/nologin
20:clevis:x:996:992:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/usr/sbin/nologin
21:rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
22:sssd:x:995:991:User for sssd:/:/sbin/nologin
23:geoclue:x:994:990:User for geoclue:/var/lib/geoclue:/sbin/nologin
24:libstoragemgmt:x:993:989:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
25:setroubleshoot:x:992:988:SELinux troubleshoot server:/var/lib/setroubleshoot:/sbin/nologin
26:pipewire:x:991:986:PipeWire System Daemon:/var/run/pipewire:/sbinnologin
27:flatpak:x:990:985:User for flatpak system helper:/:/sbin/nologin
28:gdm:x:42:42::/var/lib/gdm:/sbin/nologin
29:cockpit-ws:x:989:984:User for cockpit web service:/nonexisting:/sbin/nologin
30:cockpit-wsinstance:x:988:983:User for cockpit-ws instances:/nonexisting:/sbin/nologin
31:gnome-initial-setup:x:987:982::/run/gnome-initial-setup/:/sbin/nologin
32:sshd:x:74:74:Privilege-separated SSH:/usr/share/empty.sshd:/sbin/nologin
33:chrony:x:986:981::/var/lib/chrony:/sbin/nologin
34:dnsmasq:x:985:980:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologin
35:tcpdump:x:72:72::/:/sbin/nologin
36:systemd-oom:x:978:978:systemd Userspace OOM Killer:/:/usr/sbin/nologin

 2、找出"netstat  -tan"命令的结果中，以'LISTEN'后跟0或多个空白字符结尾的行

[root@server ~]# netstat -tan | grep "LISTEN[[:space:]]*\>"
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN     
tcp6       0      0 :::22                   :::*                    LISTEN     
tcp6       0      0 ::1:631                 :::*                    LISTEN     
tcp6       0      0 ::1:6011                :::*                    LISTEN

3、在/etc/fstab文件中不以#开头的行的行首增加#号

[root@server ~]# sed -r 's/^([^#])/#\1/' /etc/fstab

#
# /etc/fstab
# Created by anaconda on Fri Mar 17 05:01:37 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
#
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.
#
#/dev/mapper/rhel-root   /                       xfs     defaults        0 0
#UUID=956800fd-3f8e-47bc-adde-b14e1b8758a1 /boot                   xfs     defaults        0 0
#/dev/mapper/rhel-swap   none                    swap    defaults        0 0

4、删除/tc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

[root@server ~]# sed "s/#//" /etc/fstab


 /etc/fstab
 Created by anaconda on Fri Mar 17 05:01:37 2023

 Accessible filesystems, by reference, are maintained under '/dev/disk/'.
 See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.

 After editing this file, run 'systemctl daemon-reload' to update systemd
 units generated from this file.

/dev/mapper/rhel-root   /                       xfs     defaults        0 0
UUID=956800fd-3f8e-47bc-adde-b14e1b8758a1 /boot                   xfs     defaults        0 0
/dev/mapper/rhel-swap   none                    swap    defaults        0 0

5、统计出apachel的access.log中访问量最多的5个lP

[root@server ~]# cat access.log | awk '{print $1}' | sort -n | uniq -c | sort -nr | head -5

Ethan~Noah
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Shell编程之AWK的使用
暁洣的博客
03-20 480
背景 AWK是一个优良的文本工具，是Linux环境下现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。他的创建者创建者已将它正式定义为“样式扫描和处理语言”。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 语法格式 不管语法怎么复杂，其语法始终为： a...
Shell编程之Sed
GaLiCHaoFan1的博客
08-12 647
Sed 即 Stream EDitor，和 vi 不同，sed是行编辑器sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。sed 的工作流程主要包括读取、执行和显示三个过程。读取。..................
Linux网络——shell编程之awk编辑器
weixin_67300995的博客
05-16 589
AWK是一种优良的文本处理工具。它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。
SHELL编程三剑客之awk详解
lqcbj的博客
02-06 1000
SHELL编程三剑客之awk详解 　　awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。 awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。
Shell编程之awk
weixin_56600233的博客
01-05 821
Shell编程之awk
【shell 编程大全】awk详解
weixin_42373116的博客
03-01 1431
今天我们会将awk单独分为一个章节，因为其实awk本身是可以作为一个体系的，所以单独拿出来一章 ，不过分。
Shell 编程小览
怕寂寞の恶魔
09-15 311
Shell 是linux中必须掌握的技巧之一 1. val && $val && ${val}        val 是linux中引用的变量值：        赋值  val=...        取值  $(val) $val &{val} 2. echo && read         echo -> printf        read -> scanf 3. 特殊变量列表
linux shell 编程之 awk用法
09-03
linux shell 编程之 awk详细用法
shell编程—-awk
01-20
【awk】awk是一种强大的文本分析工具，常用于Linux和Unix环境中。它允许用户根据特定的模式匹配对输入数据进行处理，特别适用于数据提取、转换和报告生成。awk的语法受到C语言的影响，使得它在处理结构化文本时非常...
Shell脚本之awk篇
07-30
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可 以来自标准输入、文件、管道。
shell编程-awk，sed，crontab
04-09
在Linux系统中，Shell编程是系统管理员和开发者日常工作中不可或缺的一部分。它允许用户通过命令行接口执行各种自动化任务。在给定的压缩包文件中，我们聚焦于三个关键的Shell工具：awk、sed和crontab。下面将详细...
shell、awk编程教材
11-14
SHELL编程是Unix/Linux操作系统环境中的一种脚本语言，它允许用户编写简单的程序来自动化日常任务。在本文中，我们将深入探讨SHELL编程的基础知识，包括其概念、特点以及基本语法。 **一、SHELL概述** SHELL是用户...
linux awk命令详解
m沉默
07-18 703
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred
shell编程awk
weixin_71438279的博客
08-15 330
在Linux系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell 脚本，完成各种自动化配置任务。...
Linux命令学习资料整理（1）
weixin_57751257的博客
03-02 860
Linux命令学习资料整理（1）
shell编程-awk
AnNan1997的博客
03-17 387
shell编程之awk 一、awk简介 awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。可以在命令行中使用，但更多是作为脚本来使用。 awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。 awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是
linux grep正则表达式习题解析
weixin_31789689的博客
06-16 746
反思以及建议： 由于语法的丰富，尽可能的多思考某题的解题方法； 多思考这样的答案还可以应用在什么样的场景里； 写完一道题停顿思考一下 熟读文档‘man grep’ 基础部分 1.用多种方式输出/proc/meminfo文件中所有以大写或小写s开头的行 提示：忽略大小写；扩展方式不同写法 grep -i '^s' /proc/meninfo echo -e "sb\nSb\nsB\nSB" | grep -i '^s' grep -E "^(s|S)" /et
linux实验------find,cp,wc ,alias,grep,date.
weixin_50339832的博客
03-08 2695
文章目录实验1实验2实验3实验4 实验1 查找/etc中passwd的文件的所在路径，并将其拷贝到/tmp目录中，统计该文件中有多少行内容是以nologin单词结尾的 步骤： 先查找路径：find /etc -name passwd 再复制：cp /etc/passwd /tmp 查找nologin结尾的文件：cat passwd | grep nologin 统计行数：cat passwd | grep nologin | wc -l 结果：该文件内容，以nologin单词结尾的有37行 实验2 统计根目
【Python】 探索 Python 中的 breakpoint 方法
最新发布
2333333
07-21 455
breakpoint 是 Python 的内置函数，用于启动调试器。在调用 breakpoint 方法时，Python 将进入调试模式，允许开发者检查代码的执行状态、变量值以及调试代码逻辑。*args 和 **kwargs：可选参数，用于传递给调试器。在默认情况下，breakpoint 启动的是内置的 pdb 调试器，但可以通过设置环境变量或使用其他调试器进行定制。breakpoint 方法允许我们使用自定义的调试器。通过设置 PYTHONBREAKPOINT 环境变量，我们可以指定其他调试器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ethan~Noah

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值