linux三剑客

最新推荐文章于 2022-07-31 10:01:34 发布
最新推荐文章于 2022-07-31 10:01:34 发布
阅读量936 收藏 1
点赞数
分类专栏： 笔记 文章标签： linux bash vim
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47630106/article/details/123494882
版权

sed基础题

1-5题编写1个num.txt，文件中每行写入1-10的数字。
可以使用seq 10 > num.txt生成。
1、sed G通常是在文件每一行下面输出一个空行，现在让你在文件的每一个非空行下面输出一个空行，如果要输出两个空行呢？

   sed G num.txt
   sed 'G;G' num.txt

2、在文件中匹配1的所有行下面输出一个空行

   sed 1G num.txt

3、在文件的偶数行下面插入一个空行

   sed 'n;G' num.txt

4、删除文件的偶数行

   sed '2~2d' num.txt

5、删除文件末尾两行

   sed '9,10d' num.txt

6、使用sed取出/etc/sysconfig/network-scripts/ifconfig-ens33网卡文件中的基名（basename命令结果）与目录名（dirname命令结果）
dirname命令结果：

dirname /etc/sysconfig/network-scripts/ifcfg-ens33
/etc/sysconfig/network-scripts

basename命令结果：

basename /etc/sysconfig/network-scripts/ifcfg-ens33
ifcfg-ens33

文件中的基名：echo /etc/sysconfig/network-scripts/ifcfg-ens33 | sed -nr ‘s#.*/(.+)/?#\1#p’
目录名：

`echo /etc/sysconfig/network-scripts/ifcfg-ens33 | sed -nr 's#(.*)/(.+)/?#\1#p'`

awk基础题

文件 file.txt的内容格式：
文件中包含名字，电话号码和过去三个月里的捐款
具体内容如下：

Mike Harrington:[510] 548-1278:250:100:175
Christian Dobbins:[408] 538-2358:155:90:201
Susan Dalsass:[206] 654-6279:250:60:50
Archie McNichol:[206] 548-1348:250:100:175
Jody Savage:[206] 548-1278:15:188:150
Guy Quigley:[916] 343-6410:250:100:175
Dan Savage:[406] 298-7744:450:300:275
Nancy McNeil:[206] 548-1278:250:80:75
John Goldenrod:[916] 348-4278:250:100:175
Chet Main:[510] 548-5258:50:95:135
Tom Savage:[408] 926-3456:250:168:200
Elizabeth Stachelin:[916] 440-1763:175:75:300

练习：

  1. 显示所有电话号码
  2. 显示Dan的电话号码
  3. 显示Susan的名字和电话号码
  4. 显示所有以D开头的姓
  5. 显示所有以一个C或E开头的名
  6. 显示所有只有四个字符的名
  7. 显示所有区号为916的人名
  8. 显示Mike的捐款.显示每个值时都有以$开头.如$250$100$175
  9. 显示姓,其后跟一个逗号和名,如Jody,Savage
    10.写一个awk的脚本,它的作用:显示Savage的全名和电话号码.显示Chet的捐款.显示所有头一个月捐款$250的人名.
1
[root@localhost zhaoyj]# awk -F: '{print $2}' file.txt 
2
[root@localhost zhaoyj]# awk -F: '$1~/Dan/{print $2}' file.txt 
[406] 298-7744
3 
[root@localhost zhaoyj]# awk -F: '$1~/Susan/{print$1":"$2}' file.txt 
Susan Dalsass:[206] 654-6279
4
[root@localhost zhaoyj]# awk '$1~/^D/{print $1}' file.txt 
Dan
5
[root@localhost zhaoyj]# awk -F: '$1~/^[C|E]/{print $1}' file.txt |awk '{print $2}'
Dobbins
Main
Stachelin
6
[root@localhost zhaoyj]# awk 'length($1)=="4"{print $1}' file.txt 
Mike
Jody
John
Chet
7
[root@localhost zhaoyj]# awk -F"[ :]" '$3~/916/{print $1" "$2}' file.txt 
Guy Quigley
John Goldenrod
Elizabeth Stachelin
8
[root@localhost zhaoyj]# 
awk -F:  'BEGIN{OFS="$"}$1~/Mike/{print "",$3,$4,$5}' file.txt
awk -F:  '$1~/Mike/{print "$"$3" ""$"$4" ""$"$5}' file.txt 
$250 $100 $175
9
[root@localhost zhaoyj]# awk -F:  '{print $1}' file.txt |awk '{print $1","$2}'
10 
命令式：
awk -F: '/Savage/{print $1,$2} /Chet/{print $(NF-2),$(NF-1),$NF} $(NF-2)==250 {print $1}' file.txt

脚本式：
BEGIN{
FS=":";
}
{
if(/Savage/)
 print $1,$2;
else if(/Chet/)
 print $1,$(NF-2),$(NF-1),$NF;
else if($(NF-2)==250)
 print $1,$(NF-2);
}

awk进阶版

1、统计/etc/fstab⽂件中每个⽂件系统类型出现的次数？

  egrep -v '^(^$|#)' /etc/fstab |awk '{array[$3]++}END{for (i in array) {print i,array[i]}}'

2、统计/etc/fstab⽂件中每个单词出现的次数？

    egrep -v '^(^$|#)' /etc/fstab |awk '{for (i=1;i<=NF;i++){array[$i]++}}END{for (i in array) {print i,array[i]}}'
 或：
    awk '/^[^# ]/{for(i=1;i<=NF;i++){array[$i]++}}END{for (i in array) {print i,array[i]}}' /etc/fstab

3、使⽤awk统计当前主机的并发访问量？

    netstat -tan | awk 'NF>2{array[$6]++}END{for (i in array) print i,array[i]}'
 或：
    netstat -tan | awk '/^tcp/{array[$6]++}END{for (i in array) print i,array[i]}'

4、使⽤awk命令，计算⼀个⽬录下⽂件⼤⼩的总和？

  ll |awk 'BEGIN{sum=0}{sum=sum+$5}END{print sum}'

5、统计apache访问⽇志流量排名前10个ip？

awk '{print $1}' /var/log/httpd/access_log | uniq -c|sort -rn|head -10

如果没有需要安装httpd，yum install -y httpd，新安装没有日志，可以通过使用浏览器访问http://xx.xx.xx.xx，或者其他linux服务器使用curl ip也可以

文本处理三剑客之awk

  • 定义：是一种编程语言，用于在Linux/unix下对文本和数据进行处理（在命令行中更多作为脚本来使用）

  • 语法格式

    awk -F： ‘command’ filenames

    command:

      BEGIN{}		{}		END{}

    ​ 行处理前 行处理 行处理后

  • 内置变量

    内置变量描述
    RS行分隔符，默认情况下为一个换行符（不显示在终端上）
    ORS输出行分隔符，用于打印时分割记录（不换行，一个紧挨着一个，会显示在终端上）
    NR表示当前的行数（不同的目录可以统计在一块计数）
    FNR当前输入文件的行数（不同的目录分开统计）
    NF表示当前的列数（显示出每一行有几个字段）
    FS列分隔符，默认空格（不显示在终端上）
    OFS输出列分隔符，用于打印时分割字段（显示在终端上）

例如：

RS

  `[root@localhost ~]#  awk 'BEGIN{RS=" "}{print $0}' /etc/passwd`
  `ftp:x:14:50:FTP`
  `User:/var/ftp:/sbin/nologin`
  `nobody:x:99:99:Nobody:/:/sbin/nologin`
  `systemd-network:x:192:192:systemd`
  `Network`
  `Management:/:/sbin/nologin`
  `dbus:x:81:81:System`
  `message`
  `bus:/:/sbin/nologin`

ORS

  ``[root@localhost ~]#  awk 'BEGIN{ORS=";"}{print $0}' /etc/passwd`
  `root:x:0:0:root:/root:/bin/bash;bin:x:1:1:bin:/bin:/sbin/nologin;daemon:x:2:2:d                                                    aemon:/sbin:/sbin/nologin;adm:x:3:4:adm:/var/adm:/sbin/nologin;lp:x:4:7:lp:/var                                                    /spool/lpd:/sbin/nologin;sync:x:5:0:sync:/sbin:/bin/sync;shutdown:x:6:0:shutdow                                                    n:/sbin:/sbin/shutdown;halt:x:7:0:halt:/sbin:/sbin/halt;mail:x:8:12:mail:/var/s                                                    pool/mail:/sbin/nologin;operator:x:11:0:operator:/root:/sbin/nologin;games:x:12                                                    :100:games:/usr/games:/sbin/nologin;ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin`` 

- **NR**

  `[root@localhost ~]#  awk '{print NR, $0}' /etc/passwd /etc/hosts`
  `1 root:x:0:0:root:/root:/bin/bash`
  `2 bin:x:1:1:bin:/bin:/sbin/nologin`
  `3 daemon:x:2:2:daemon:/sbin:/sbin/nologin`
  `4 adm:x:3:4:adm:/var/adm:/sbin/nologin`

  `5 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4`

  `6 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6`

 FNR

  `[root@localhost ~]#  awk '{print FNR, $0}' /etc/passwd /etc/hosts`

  `1 root:x:0:0:root:/root:/bin/bash`
  `2 bin:x:1:1:bin:/bin:/sbin/nologin`
  `3 daemon:x:2:2:daemon:/sbin:/sbin/nologin`
  `4 adm:x:3:4:adm:/var/adm:/sbin/nologin`

  `1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4`
  `2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6`

NF
  `[root@localhost ~]#  awk -F: '{print $0,NF}' /etc/passwd`
  `root:x:0:0:root:/root:/bin/bash 7`
  `bin:x:1:1:bin:/bin:/sbin/nologin 7`
  `daemon:x:2:2:daemon:/sbin:/sbin/nologin 7`
  `adm:x:3:4:adm:/var/adm:/sbin/nologin 7`

 FS

  `[root@localhost ~]#  awk 'BEGIN{FS=":"}{print $1,$3}' /etc/passwd`
  `root 0`
  `bin 1`
  `daemon 2`

OFS

  `[root@localhost ~]#  awk 'BEGIN{FS=":";OFS="+"}/root/{print $1,$2}' /etc/passwd`
  `root+x`
  `operator+x`

文本处理三剑客之sed

  • 定义： 是一种非交互式的流式编辑器

  • sed工作原理：sed处理文件时，会把当前处理的行保存在一个临时缓存区中（也叫模式空间），处理完模式空间中的行后，就会发送到屏幕上。 注：sed把每一行都存在模式空间中进行编辑，随意不会修改或破坏源文件。

  • 用法： sed 选项 ‘script（地址定界编辑命令）’ 文件名

​ eg： sed ‘/north/p’ sed.txt

​ sed把所有输入行都打印在标准输出上。如果在某一行有 north ，就把该行在打印一遍。

​

文本处理三剑客之grep

  • 概念：是一种强大的文本搜索工具，可以使用正则表达式搜索文本并把匹配的行打印出来
  • 作用：可以根据用户指定的过滤条件对目标文本逐行进行匹配检查并打印出来
阿絮～
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell实用脚本使用awk统计ng网站访问量
m0_57261942的博客
08-10 530
使用awk统计ng网站访问量、 方法一 #统计日志信息，可以找出访问者的ip， awk '{print $1}' /var/log/httpd/access_log 方法二 #可以得到哪个ip来访的次数 awk '{a[$1]++}END{for(i in a){print i,a[i]}}' /var/log/httpd/access_log 方法三 #查看日志中某个ip的出现次数，以及ip，然后按降序排列，出现次数最大的 awk '{ip[$1]++}END{for(i in ip{print
sed练习-课后练习
weixin_41142408的博客
07-02 601
sed练习1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符3、在centos6系统/root/install.log每一行行首增加#号4、在/etc/fstab文件中不以#开头的行的行首增加#号5、处理/etc/fstab路径,使用sed命令取出其目录名和基名6、利用sed 取出ifconfig命令中本机的IPv4地址7、统计centos安装光盘中Package目录下的所
awk命令统计访问量
Sigh～
07-02 934
awk '/.*uni_OP_READ.*\(ZF.*/{print $4}' 2013062*.log | awk -F':' '{t[$1":"$2]++}END{for(i in t)print i, t[i]}' | sort -k1 > proxy   呵呵
三剑客之sed初级练习题
ujjhh的博客
07-31 843
文本三剑客之sed初级练习题
L29.linux命令每日一练 -- 第四章 文本处理三剑客 -- sed命令
Raymond的博客
07-17 315
​ 【命令星级】 ★★★★★​ 【功能说明】​ sed是Stream Editor（字符流编辑器）的缩写，简称流编辑器。它是Linux三剑客之一。​ sed是操作、过滤和转换文本内容的强大工具。sed的常用功能包含对文件实现快速增删改查（增加、删除、修改、查询），其中查询的功能中最常用的两大功能是过滤（过滤指定字符串）和取行（取出指定的行）。​ 【语法格式】 ​ 说明：​ 1）为了避免混淆，本文称呼sed为sed或sed命令，将实现不同sed功能的内部命令参数，称为“sed内置命令字符”，以区
Linux三剑客
03-02
Linux最强三剑客 sed grep awk 写的很不错，值得收藏。
深入立即linux三剑客
最新发布
05-28
深入立即linux三剑客，包括正则表达式、grep、sed、awk相关简介、具体案例、以及大量练习题
linux三剑客之awk
09-19
linux三剑客之awk
跟老男孩学linux三剑客命令V1.5
06-20
《跟老男孩学Linux三剑客命令V1.5》是一本专为初学者和进阶者设计的Linux系统管理指南，旨在帮助读者掌握Linux操作系统中的核心命令行工具——"三剑客"：grep、sed和awk。这些工具在Linux环境中具有极其重要的地位，...
linux三剑客V1.0.pdf
01-22
个人学习中总结出的linux三剑客详细内容，适合新手和老手，非常实用。这里拿出来跟大家分享一下。希望大家能快速掌握linux上这几个工具，是工作效率极大的提高
sed基础实例练习
08-02
有不错的例子，对sed有更好的理解，只有多做练习，才能提高，才能更好的理解原理
Linux三剑客命令从入门到放弃
03-25
在IT领域，Linux操作系统是许多系统管理员和开发者的重要工具，其中Linux三剑客——AWK、SED和GREP，是日常工作中不可或缺的命令行工具。它们各自承担着文本处理、流编辑和搜索的关键任务，帮助用户高效地处理大量...
跟老男孩学linux三剑客命令V1.5.rar
06-13
awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些...在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk 将会使你的工作变的高大上。awk 是三剑客的老大，利剑出鞘，必会不同凡响
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
Linux三剑客awk sed grep全攻略
07-14
Linux三剑客awk sed grep全攻略
sed练习题
weixin_34326558的博客
06-18 288
sed练习题0、获取当前系统的物理磁盘名 fdisk -l | sed -n '7p'| awk '{print $1}'1、把文件中每一行里的所有空格都删除 sed 's/ //g' xs.txt2、把文件中每一行开头第一个空格删除 sed 's/ //' xs.txt3、给文件中的1-10行加注释符# sed '1,10s/^/#/' xs.txt ...
练习题：sed用法
攻城狮@疯子峰
07-28 917
1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符 2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符 3、在centos6系统/root/install.log每一行行首增加#号 4、在/etc/fstab文件中不以#开头的行的行首增加#号 5、处理/etc/fstab路径,使用sed命令取出其目录名和基名...
sed 练习题
weixin_33978016的博客
05-11 558
把/etc/passwd 复制到/root/test.txt，用sed打印所有行cp /etc/passwd /root/test.txtsed -n '1,$'p test.txt打印test.txt的3到10行 sed -n '3,10'p test.txt打印test.txt 中包含 ‘root’...
文本三剑客之awk进阶练习题
ujjhh的博客
07-31 720
文本三剑客之awk进阶练习题
linux三剑客笔记
09-25
Linux三剑客是指在Linux系统中经常使用的三个命令行工具，分别是grep、awk和sed。 首先是grep命令，它是Global Regular Expression Print的缩写，用于在文件中查找匹配某一模式的行。grep命令的基本语法是"grep ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值