Linux Shell从入门到精通之shell必学三剑客grep；sed；awk

已于 2023-07-12 00:20:57 修改
阅读量507 收藏 3
点赞数 5
分类专栏： Linux Shell从入门至精通系列 文章标签： linux 服务器 运维
于 2023-07-12 00:15:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/while_if/article/details/131648072
版权

目录

🎱1. 前言

🎱2. grep命令

🎱3. sed命令

🎱4. awk命令

🎱5. 练习

1. 前言

        要想学好shell脚本编程，对于文档的处理是无法避免的，例如：当你撰写一个脚本部署nginx时，你需要修改配置文件中的内容，你无法通过vim或vi命令手动修改，这时sed命令就可以满足你的需求。使用sed命令针对字符串进行替换，或根据匹配前缀在后方进行补充输入等。

        除sed命令外，grep与awk命令在文本处理与输入输出上也起着至关重要的作用，好啦，让我们来学习一下我们shell的三剑客grep sed awk吧！希望通过本章的学习可以使你在工作中，更快的处理相关工作，同时也为后续的shell编程打下夯实的基础。

2. grep命令

  • 简介

grep: Gloabal Search Regular Expression and Print out the line，意为全局搜索正则表达式并打印文本行。所以grep是一个强大的文本搜索工具并且grep与正则表达式联系紧密

  •  语法格式
grep [option] pattern files
  • 常用参数
参数选项解释说明
-c只统计匹配的行数
-v排除匹配结果
-n显示匹配行与行号
-i不区分大小写
-E使用egrep命令
-color = auto为grep过滤结果添加颜色
-w只匹配过滤的单词
-o只输出匹配的内容
  •  创建测试文件
[root@CentOS_7 ~]# cat >> test.txt << EOF
> this is my first file
> print "hello world !"
> list = {1,2,3,4,5,6,7,8,9,10}
> print(list[1])
> print "HELLO WORLD !"
> List={1,2,3,4,5,6,7,8}
> x=List[1]
> y=List[2]
> EOF
[root@CentOS_7 ~]# cat test.txt
this is my first file
print "hello world !"
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

        过滤文件中的内容grep hello test.txt

[root@CentOS_7 ~]# grep hello test.txt
print "hello world !"
[root@CentOS_7 ~]# grep list  test.txt
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])

        输出匹配查找统计的行数grep -c list  test.txt

[root@CentOS_7 ~]# grep -c list  test.txt
2
[root@CentOS_7 ~]# grep -c hello test.txt
1
[root@CentOS_7 ~]# grep -c print test.txt
3

         输出匹配查找所在的行数grep -n print test.txt

[root@CentOS_7 ~]# grep -n print test.txt
2:print "hello world !"
4:print(list[1])
5:print "HELLO WORLD !"

       不区分大小写输出匹配查找的内容grep -i hello test.txt

[root@CentOS_7 ~]# grep -i hello test.txt
print "hello world !"
print "HELLO WORLD !"

         输出除匹配外的所有内容grep -v print test.txt

[root@CentOS_7 ~]# grep -v print test.txt
this is my first file
list = {1,2,3,4,5,6,7,8,9,10}
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

3. sed命令

  • 简介

Linux sed 命令是利用脚本来处理文本文件。

sed 可依照脚本的指令来处理、编辑文本文件。

Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

  • 语法格式
sed [-hnV][-e<script>][-f<script文件>][文本文件]
  • 语法说明 
参数选项解释说明

-e<script>或--expression=<script>

以选项中指定的script来处理输入的文本文件
-f<script文件>或--file=<script文件>以选项中指定的script文件来处理输入的文本文件
-h或--help显示帮助
-n或--quiet或--silent仅显示script处理后的结果
-V或--version显示版本信息
-i直接修改读取的文件内容
  • 动作说明
动作选项解释说明

a ：新增

a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
c ：取代c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除因为是删除啊，所以 d 后面通常不接任何东东；
i ：插入i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代

可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正则表达式！

例如 1,20s/old/new/g 就是啦！

 要注意的是， sed 后面接的动作，请务必以 '...' 两个单引号括住喔！

  •  示例文件
[root@CentOS_7 ~]# cat >> test.txt << EOF
> this is my first file
> print "hello world !"
> list = {1,2,3,4,5,6,7,8,9,10}
> print(list[1])
> print "HELLO WORLD !"
> List={1,2,3,4,5,6,7,8}
> x=List[1]
> y=List[2]
> EOF
[root@CentOS_7 ~]# cat test.txt
this is my first file
print "hello world !"
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

        在第2行后新增内容sed -e '2aSED config' test.txt

[root@CentOS_7 ~]# sed -e '2aSED config' test.txt
this is my first file
print "hello world !"
SED config
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

        将第2行和第3行替换为所输入的内容sed -e '2,3cSED config' test.txt

[root@CentOS_7 ~]# sed -e '2,3cSED config' test.txt
this is my first file
SED config
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

        将第1行与第2行的内容删除sed -e '1,2d' test.txt

[root@CentOS_7 ~]# sed -e '1,2d' test.txt
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

        在第1行上方插入内容sed -e '1ithis is my first file' test.txt

[root@CentOS_7 ~]# sed -e '1ithis is my first file' test.txt
this is my first file
this is my first file
print "hello world !"
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

         在将hello world替换为hello shell sed 's/hello world/hello shell/' test.txt

[root@CentOS_7 ~]# sed 's/hello world/hello shell/' test.txt
this is my first file
print "hello shell !"
list = {1,2,3,4,5,6,7,8,9,10}
print(list[1])
print "HELLO WORLD !"
List={1,2,3,4,5,6,7,8}
x=List[1]
y=List[2]

4. awk命令

  • 简介

在Linux中，awk是一种强大的文本处理工具，用于从文件或标准输入中读取数据，并按照指定的规则进行处理和操作。

  • 语法格式
awk options 'pattern {action}' filename
  • 语法示例

下面是awk命令的一些常用选项和用法示例：

        （1）打印整行

awk '{print}' filename

        默认情况下，awk会按行读取文件，并将整行内容打印出来。

        （2）指定分隔符

awk -F':' '{print $1, $3}' filename

        使用-F选项来指定字段的分隔符（冒号在此示例中）。然后使用$1、$2、$3等变量来引用每个字段的值。

        （3）根据条件进行过滤

awk '/pattern/ {print}' filename

        使用斜线（/）将模式（pattern）括起来，并在{}中指定要执行的动作。这个例子会打印出包含匹配模式的行。

        （4）运算和计算

awk '{sum += $1} END {print sum}' filename

        进行数值运算和计算。在此示例中，awk会将每一行的第一个字段的值加到sum变量中，并在处理完所有行后打印出总和（sum）。

        （5）自定义输出格式

awk '{printf "%s\t%s\n", $1, $3}' filename

        使用printf函数来自定义输出格式。本例中，将使用制表符（\t）分隔字段，并在每行结束时添加换行符（\n）。

        （6）使用脚本文件

awk -f script.awk filename

        将awk命令和处理规则存储在一个独立的脚本文件中（例如script.awk），并使用-f选项来指定脚本文件。

        上述示例只是awk命令的一部分，它还有更多高级功能和选项，比如条件语句、循环、函数等。你可以查阅awk的官方文档或输入man awk命令在终端上查看完整的用法和选项列表。

5. 练习

        初步学完Linux三剑客后，咱们就使用这三个命令来撰写一个简单的shell脚本吧。

        脚本作用：修改SSH端口号

        脚本要求：用户输入的端口号要符合端口范围，并限制在10000以上，否则要弹出提示，若用户输入的端口号超出端口号范围则提示输入错误，并给出正确的端口号范围。

        脚本代码：

#!/bin/bash

cat << EOF
本程序适用CentOS系统
作用是用来修改SSH端口号
请根据提示进行选择
(1)修改端口号
(2)退出程序
EOF

read -p "请输入1 or 2：" var

if [ $var -eq 1 ];then
read -p "请输入您要改成的端口号（建议修改端口号值在10000~65535之间）：" ssh_port
	if [ "$ssh_port" -ge 10000 ] && [ "$ssh_port" -le 65535 ];then
	grep "Port 22" /etc/ssh/sshd_config > temp_port
	old_port=$(<temp_port)
	new_port=$ssh_port
    sed -i "{ s/$old_port/Port $new_port/}"  /etc/ssh/sshd_config
    echo "您已成功将端口号修改为：$(awk '/Port/ && !matched {print $2;matched=1}' /etc/ssh/sshd_config)"
    echo "正在重启SSH服务"
    systemctl restart sshd
	fi
    	
    if [ "$ssh_port" -ge 65535 ] || [ "$ssh_port" -le 10000 ];then
    echo "您输入的端口未在有效范围内，程序即将退出。"
    exit
    fi
fi

if [ $var -eq 2 ];then
    exit
fi

        脚本功能测试：

[root@CentOS_7 ~]# systemctl status sshd
● sshd.service - OpenSSH server daemon
   Loaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled)
   Active: active (running) since Wed 2023-07-12 00:07:01 CST; 4s ago
     Docs: man:sshd(8)
           man:sshd_config(5)
 Main PID: 1951 (sshd)
   CGroup: /system.slice/sshd.service
           └─1951 /usr/sbin/sshd -D

Jul 12 00:07:01 CentOS_7 systemd[1]: Stopped OpenSSH server daemon.
Jul 12 00:07:01 CentOS_7 systemd[1]: Starting OpenSSH server daemon...
Jul 12 00:07:01 CentOS_7 sshd[1951]: Server listening on 0.0.0.0 port 22.
Jul 12 00:07:01 CentOS_7 sshd[1951]: Server listening on :: port 22.
Jul 12 00:07:01 CentOS_7 systemd[1]: Started OpenSSH server daemon.
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]#
[root@CentOS_7 ~]# clear
[root@CentOS_7 ~]#
[root@CentOS_7 ~]# ./reset_ssh_port.sh
本程序适用CentOS系统
作用是用来修改SSH端口号
请根据提示进行选择
(1)修改端口号
(2)退出程序
请输入1 or 2：1
请输入您要改成的端口号（建议修改端口号值在10000~65535之间）：100
您输入的端口未在有效范围内，程序即将退出。
[root@CentOS_7 ~]# ./reset_ssh_port.sh
本程序适用CentOS系统
作用是用来修改SSH端口号
请根据提示进行选择
(1)修改端口号
(2)退出程序
请输入1 or 2：1
请输入您要改成的端口号（建议修改端口号值在10000~65535之间）：680000
您输入的端口未在有效范围内，程序即将退出。
[root@CentOS_7 ~]# ./reset_ssh_port.sh
本程序适用CentOS系统
作用是用来修改SSH端口号
请根据提示进行选择
(1)修改端口号
(2)退出程序
请输入1 or 2：1
请输入您要改成的端口号（建议修改端口号值在10000~65535之间）：12222
您已成功将端口号修改为：12222
正在重启SSH服务
[root@CentOS_7 ~]# systemctl status sshd
● sshd.service - OpenSSH server daemon
   Loaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled)
   Active: active (running) since Wed 2023-07-12 00:07:37 CST; 12s ago
     Docs: man:sshd(8)
           man:sshd_config(5)
 Main PID: 1972 (sshd)
   CGroup: /system.slice/sshd.service
           └─1972 /usr/sbin/sshd -D

Jul 12 00:07:37 CentOS_7 systemd[1]: Stopped OpenSSH server daemon.
Jul 12 00:07:37 CentOS_7 systemd[1]: Starting OpenSSH server daemon...
Jul 12 00:07:37 CentOS_7 sshd[1972]: Server listening on 0.0.0.0 port 12222.
Jul 12 00:07:37 CentOS_7 sshd[1972]: Server listening on :: port 12222.
Jul 12 00:07:37 CentOS_7 systemd[1]: Started OpenSSH server daemon.
[root@CentOS_7 ~]#

 学无止境！希望小伙伴可以共同努力，加油！

Dark Apostle
关注
  • 5
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
shell最全基础2020年入门—从熟悉grep、sed、awk开始
01-09
在IT行业中，Shell作为Unix和Linux操作系统的核心组件之一，扮演着用户与系统交互的重要角色。它是一个命令行接口，允许用户通过输入指令来操控操作系统，执行各种任务。对于初学者，理解Shell的基本概念和操作至关...
shell三剑客详解
weixin_42608299的博客
02-16 1331
"Shell三剑客"指的是在Linux/Unix系统下使用最广泛的三个命令行工具：grep、sed和awk。它们都是文本处理工具，可以用于快速搜索、替换和处理大量文本数据。 grep：用于在文件中搜索指定的文本模式，并将匹配的行打印出来。常用的选项包括： -i：忽略大小写。 -r：递归地搜索目录中的所有文件。 -v：输出未匹配的行。 -w：只匹配整个单词，而不是部分匹配。 示例：搜索包含特...
Shell脚本文本处理三剑客（grep、awk、sed）和正则表达式
最新发布
EsDeath_99的博客
06-06 1194
替换标记作用数字表明新字符串将替换第几处匹配的地方g表明新字符串将会替换所有匹配的地方p打印与替换命令匹配的行，与-n一起使用w文件将替换的结果写到文件中。
shell ——正则表达式三剑客+三个shell小工具
与之二三事、
06-14 665
目录
Shell命令——sed命令
主要记录嵌入式学习与开发过程。
03-06 3266
以下内容整理于《linux命令行与shell脚本编程大全【第三版】》一书。
linux shell之sed
we.think
10-24 1032
目录1. 概述1.1 工作原理1.2 与vim的区别2. 基本语法2.1 选项2.2 示例2.2.1 多行删除2.2.2 正则匹配2.2.2 正则块匹配2.2.3 替换2.3 组合命令2.3.1 组合多条命令2.3.1 地址范围操作多条命令 sed（Stream Editor）是一款强大流式、非交互式的编辑器，集合正则表达式，可以对标准输出或者其他输出进行处理并输出。sed的强项是替换文本中的特定字符，而写shell有个步骤就是从一段文本中截取一段字符进行处理，所以熟练掌握sed命令是写shell脚本的基
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
linux系统，awk，grep，sed
08-13
主要减少linux系统中的查询三剑客grep,awk,sed的使用方法和详解，适合linux初学进行学习，适合在日常对于文本内容或者命令执行结果的搜索，可以完善和简便自己的工作内容和完善对于shell脚本的使用。
shell从入门到精通
10-13
shell基础知识、shell字符串处理、shell表达式与运算符、shell流程控制、shell函数与数组、shell正则表达式、shell文本处理三剑客(grep、sed、awk)、shell标准输入、输出和错误、shell信号发送与捕捉、shell编程时...
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。这就需要正则表达式...
Linux Shell 脚本编程学习之【第4章 sed命令最详细 （第一部分）】
Else 的博客
07-22 449
sed命令大全。sed缓冲区。sed显示控制字符。sed显示不可见字符。
Linux系统Shell脚本第六章：文件三剑客之sed
云计算之路
02-01 800
本文主要介绍运维过程中常用的文本三剑客sed，详细讲解了sed的基本用法、选项、脚本命令以及查找替换和非常重要的后向引用。
shell 三剑客
weixin_75101141的博客
03-29 166
e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。原因：getline运行之后awk会改变NF,NR,$0，FNR等内部变量，所以此时读取$0的行号不再为1，而是2。因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，与"-F"作用相同 用-F可以不加单引号 -F:，用FS必须用=""
linux shell命令之 sed
H674199469的博客
01-30 748
linux shell命令之 sed
Linux系统Shell脚本-----------正则表达式 文本三剑客之---------grep、 sed
zzzxxx520369的博客
01-30 1979
1、正则表达式---通常用于判断语句中，用来检查某一字符串是否满足某一格式2、正则表达式是由普通字符与元字符组成3、普通字符包括大小写字母、数字、标点符号及一些其他符号4、元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符或表达式)在目标对象中的出现模式sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。
linux系统shell语言流文本编辑器——sed
析木的博客
01-04 750
linux系统中，shell语言三剑客之一，流文本编辑器——sed的使用
Shell 脚本系列 ｜ shell三剑客
weixin_48711696的博客
02-22 1425
"Shell三剑客"是指在Linux/Unix系统下使用最广泛的三个命令行工具：grep、sed和awk。它们都是文本处理工具，可以用于快速搜索、替换和处理大量文本数据。命令特点使用场景grep擅长查找过滤快速查找过滤sed擅长取行和替换需要快速进行替换/修改文件内容awk擅长取列、统计计算文件取列、数据切片、对比/比较和统计shell三剑客通常要与正则表达式一起使用.：匹配任意单个字符（除了换行符）。*：匹配前面的字符0次或多次。^：匹配行的开头。$：匹配行的结尾。
Linux之shell文本编辑工具sed
huaz_md的博客
03-19 865
除非是用重定向存储输出。
shell三剑客awk sed grep
02-24
Shell三剑客是指awk、sed和grep，它们是在Unix/Linux系统中非常常用的命令行工具，用于文本处理和数据提取。 1. awk（Aho, Weinberger, and Kernighan）是一种强大的文本处理工具，它可以根据指定的规则对文本进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值