shell常用命令面试总结(文本处理命令三剑客grep、sed、awk)（四）_shell script用法 -exec grep -i ‘‘ {

最新推荐文章于 2024-06-24 14:55:39 发布

原创最新推荐文章于 2024-06-24 14:55:39 发布 · 475 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #面试 #学习

程序员专栏收录该内容

119 篇文章

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '/^m/ p' passwd_bk 
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
messagebus:x:103:106::/nonexistent:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false

🌙5、将以man开头到list开头中间的内容打印出来

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed -n '/^man/,/^list/ p' passwd_bk 
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
666666666这三新增的内容
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin

🌙6、在man开头的下面新增内容

a：新增内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ sed '/^man/ a 这是新增的内容' passwd_bk

🌙7、在第3到5行前面新增内容

i：在前面新增内容

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '3,5 i 这是新增的内容' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
这是新增的内容
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
这是新增的内容
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
这是新增的内容
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙8、将文件中内容读取之后插入到文本中包含bash关键字的后面

r：追加的文件来自哪里

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/bash/ r test.txt' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
66666666666
88888888888

🌙9、将文本中以uuidd开头的文本写入到test.txt文本中

w：将匹配内容写到指定文件

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^uuidd/ w test.txt' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ cat test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙10、将文本中包含“四”关键字的行删除

d：将指定内容删除

在这里插入图片描述

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/四/ d' test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
这是第二行

这是第三行



这是第五行
这是第六行

🌙11、将文本中包含五的行和空行删除

-r：支持拓展正则

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed -r '/五|^$/ d' test.txt 
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin
这是第二行
这是第三行
这是第四行
这是第六行

🌙12、将第2和3行删除

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '2,3 d' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙13、删除第2到最后一行

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '2,$ d' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin

🌙14、将小写zhilong改成大写ZHILONG(如果一行有多个zhilong，默认修改的是第一个zhilong)

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed s/zhilong/ZHILONG/ sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
ZHILONG:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙15、将第3到第9行，小写zhilong改成大写BASH(所有的ZHILONG)

g：全局修改
i：忽略大小写

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '1,5 s/zhilong/ZHILONG/gi' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/usr/sbin/nologin
ZHILONG:x:1000:1000:ZHILONG,,,:/home/ZHILONG:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

🌙16、将路径/usr/sbin/nologin改为、home/zhilong

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^sssd/,/^redis/ s/\/usr\/sbin\/nologin/\/home\/zhilong/gi' sed.txt 
sssd:x:126:131:SSSD system user,,,:/var/lib/sss:/home/zhilong
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/home/zhilong
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/home/zhilong

🌙17、整行替换，将某一行的内容替换为其他的内容

c：整行替换

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ sed '/^sssd/ c "替换后的内容"' sed.txt 
"替换后的内容"
zhilong:x:1000:1000:zhilong,,,:/home/zhilong:/bin/bash
systemd-coredump:x:999:999:systemd Core Dumper:/:/usr/sbin/nologin
mysql:x:127:134:MySQL Server,,,:/nonexistent:/bin/false
redis:x:128:135::/var/lib/redis:/usr/sbin/nologin

三、awk：文本的数据处理并生成结构报告

awk ‘BEGIN{}’ pattern {commands} END{}’ file

BEGIN{}：处理数据之前执行，只执行一次
pattern：匹配模式
{commands}：处理的命令
END{}：处理数据之后执行，只执行一次

内置变量

$0：整行内容
$1-$n：当前行的第1-n个字段
NF：当前行的字段数
NR：当前行行号
FS：输入字段分隔符，默认为空格或者tab键
RS：输入行分隔符，默认为回车符
-F：以什么为分隔符

🌙1、打印文本中所有行的内容（空格）

$0：表示所有的内容

hilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $0}' awk.txt 
no	name	score	gender	age
001	kobe	100	男	24 we
   002    jimmy  99  男            30 er
 003   curry  98 女   34 we

🌙2、打印文本中第一列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $1}' awk.txt 
no
001
002
003

🌙3、打印出文本中最后一列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $NF}' awk.txt 
age
we
er
we

🌙4、打印出文本中倒数第二列的内容（空格）

zhilong@zhilong-virtual-machine:~/Desktop/shell_text/03shell$ awk '{print $(NF-1)}' awk.txt 
gender
24
30
34
awk: run time error: negative field index $-1
	FILENAME="awk.txt" FNR=5 NR=5

或者：

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk 'BEGIN{FS=":"} {print $1}' passwd_bk 
root
daemon
bin
sys
sync
games
man
666666666这三新增的内容

🌙5、将包含www关键字的所在行的第3列取出

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '/www/ {print $3}' passwd_bk 
33

🌙6、将以list开头到syslog开头之间所有行的最后一列取出

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '/^list/,/^syslog/ {print $NF}' passwd_bk 
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin
/usr/sbin/nologin

🌙7、打印第一行中的第一列

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'NR==1 {print $1}' passwd_bk 
root

🌙8、打印第1到第5行中的第一列

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'NR==1,NR==5 {print $1}' passwd_bk 
root
daemon
bin
sys
sync

🌙9、将第一列和最后一列打印出来（左对齐）
printf格式符

%s：字符串
%d：十进制数字
%f：浮点数

修饰符

+：右对齐
-：左对齐

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: '{printf "%-15s%-20s\n",$1,$NF}' passwd_bk 
root           /bin/bash           
daemon         /usr/sbin/nologin   
bin            /usr/sbin/nologin   
sys            /usr/sbin/nologin   
sync           /bin/sync           
games          /usr/sbin/nologin   
man            /usr/sbin/nologin

🌙10、将第一列和最后一列打印出来（左对齐），并且加上标题

zhilong@zhilong-virtual-machine:~/Desktop/shell_text$ awk -F: 'BEGIN{printf "%-15s%20s\n","username","password"} {printf "%-15s%20s\n",$1,$NF}' passwd_bk 
username                   password
root                      /bin/bash


![img](https://img-blog.csdnimg.cn/img_convert/4b74242dadacb81a06414b6440057be2.png)
![img](https://img-blog.csdnimg.cn/img_convert/2fbbd40f2b936318e7e0d612e3e0b897.png)
![img](https://img-blog.csdnimg.cn/img_convert/e3061ed98cf7c4a19bca6d8452766204.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

ername","password"} {printf "%-15s%20s\n",$1,$NF}' passwd_bk 
username                   password
root                      /bin/bash


[外链图片转存中...(img-2lQR5MjC-1715337905176)]
[外链图片转存中...(img-yxMQFvA8-1715337905176)]
[外链图片转存中...(img-FikYFJ3V-1715337905177)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**