脚本基本应用 grep sed和awk

已于 2023-07-13 08:50:43 修改
阅读量193 收藏
点赞数
文章标签： linux centos 运维
于 2023-07-12 11:00:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwertyuiop_____q/article/details/131675803
版权

目录

一、正则表达式 grep

扩展正则表达式

sed和awk

3、sed的基本应用

4.awk的使用

 命令修改配置文件方法

一、正则表达式 grep

1、正则表达式的作用正则表达式的组成

1）正则表达式的作用

针对文件或者文本内容进行处理

帮助用户快速查找文本文件内容

2）正则表达式的组成

普通字符

大写A-Z

小写a-z

符号

元字符

2、正则表达式的常见选项和正则表达式常见的元字符

1）正则表达式grep常见的选项

-n：显示行号

-o：只显示匹配内容

-i：不区分大写或者小写字母

-v：取反

-E：支持扩展

-q：静默执行

-w: 识别为单词

-c: 统计匹配的行数

2）正则表达式的元字符

^：匹配行起始内容

$：匹配行结束内容

.：匹配任意单字符

.*：匹配任意字符

[]：匹配括号里边的内容

[-]：匹配括号里边内容的范围

{n}：匹配的范围的次数

[n1-n2]：匹配开始和结束内容

{ n,m }：重复前面的一个字符n到m次

{ n, }：重复前面的一个字符至少n次

[^]：匹配括号之外的任意字符

\：转义字符

\<: 固定词首

\>: 固定词尾

示例文件

[root@bogon ~]#  vim dd.sh

#!/bin/bash

qwe

qsdfe

qsdf

asdf

1234

12354

过滤关键字并显示行号

[root@bogon ~]# grep -n '1234' dd.sh

6:1234

查看行q开始字段

[root@bogon ~]# grep -n '^q' dd.sh

2:qwe

3:qsdfe

4:qsdf

匹配任意单个字符

[root@bogon ~]# grep -n 'q.e' dd.sh

2:qwe

[root@bogon ~]# grep -n 'q...e' dd.sh

3:qsdfe

匹配括号内容

[root@bogon ~]# grep -n 'q[w]e' dd.sh

2:qwe

[root@bogon ~]# grep -n 'qs[d]f' dd.sh

3:qsdfe

4:qsdf

只显示匹配内容

[root@bogon ~]# grep -o 'q' dd.sh

q

q

q

匹配开始是q结束是e的字段

[root@bogon ~]# grep -n 'q*e' dd.sh

2:qwe

3:qsdfe

[root@bogon ~]# grep -n "q*f" dd.sh

3:qsdfe

4:qsdf

5:asdf

过滤IP地址信息

[root@bogon ~]# cat q.txt
192 .168.1.139

192 .168.1.111


192 .168.1.121

[root@bogon ~]# grep -n -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" q.txt

1:192.168.1.139

2:192.168.1.111

3:192.168.1.121

扩展正则表达式

扩展正则表示常见的元字符

+：重复一次或者多次前面字符显示出来

？：显示当前字母前一个字符

|：或者，显示多个字符

()：查找组字符串

()+：辨别多个重复组

将4前面内容显示出来

[root@bogon ~]# egrep -n '?4' dd.sh

6:1234

7:12354

将qwe或者asd显示出来

[root@bogon ~]# egrep -n 'qwe|asd' dd.sh

2:qwe

5:asdf

将包含 q 1 a 字符所在行显示出来

[root@bogon ~]# egrep -n '(q|1|a)' dd.sh

1:#!/bin/bash

2:qwe

3:qsdfe

4:qsdf

5:asdf

6:1234

7:12354

将开头是q 中间是sd 结束是f 的单词显示出来

[root@bogon ~]# egrep -n 'q(sd)f' dd.sh

3:qsdfe

4:qsdf

sed和awk

1、sed的作用和sed的工作流程

1）sed的作用

sed是一个文本文件解析转换工具

用于读取、修改、显示数据

2）sed的作用流程

读取数据：从文件、输入、管道命令中读取数据，临时存储数据

执行：根据sed命令在模式操作空间中进行无交互修改数据

显示：将文本文件的修改结果进行打印显示

2、sed命令常见的选项和操作符

1）sed命令选项

-n：显示处理后的结果

-h：显示帮助

-e：指定命令或者脚本处理输入的文本文件

-f：指定脚本处理输入的文本文件

-i：直接编辑文本文件

2）sed的操作符号

a：添加内容

d：删除内容

p：打印内容

s：替换内容

y：字符转换

c：将特定行替换成指定的内容

3、sed的基本应用

显示一到三行数据

[root@bogon ~]# sed -n '1,3p' dd.sh

#!/bin/bash

qwe

qsdfe

显示奇数

[root@bogon ~]# sed -n -e '1p;3p;5p' dd.sh

#!/bin/bash

qsdfe

asdf

不显示第一行数据（可以算是删除 没有真正删除掉）

[root@bogon ~]# sed '1d' dd.sh

qwe

qsdfe

qsdf

asdf

1234

12354

修改大小写

[root@bogon ~]# sed -i 's/qwe/QWE/' dd.sh

[root@bogon ~]# cat dd.sh

#!/bin/bash

QWE

qsdfe

qsdf

asdf

1234

12354

关键字添加注释

[root@bogon ~]# sed -i '/^QWE/s/^/#/' dd.sh
[root@bogon ~]# cat dd.sh

#!/bin/bash
#QWE

qsdfe

qsdf

asdf

1234

12354

将1到5行移动到6到7行中间

[root@bogon ~]# sed -i '1,5H;6,7G' dd.sh
[root@bogon ~]# cat dd.sh
#!/bin/bash
QWE
qsdfe
qsdf
asdf
1234

#!/bin/bash
QWE
qsdfe
qsdf
asdf
12354

#!/bin/bash
QWE
qsdfe
qsdf
asdf

4.awk的使用

1）awk的作用

过滤和读取数据使用

2）awk的变量

FS：文本字段的分隔符，可以使用空格为占位符

NF：处理行数

NR：处理数据的行号

$0：处理数据的整行数据

$n：处理数据行的第几列数据

显示第一列数据

[root@bogon ~]# awk '{print $1}' q.txt

192

192

192

显示所有内容

[root@bogon ~]# awk '{print}' dd.sh

#!/bin/bash
#QWE
qsdfe
qsdf
asdf


#!/bin/bash
#QWE
qsdfe
qsdf
asdf
#!/bin/bash
#QWE
qsdfe
qsdf
asdf
12354

#!/bin/bash
#QWE
qsdfe
qsdf
asdf

在第一列和第二列之间添加--

[root@bogon ~]# awk '{print $1"--"$2}' q.txt

192.168.1.139--

--

--

--

192.168.1.111--

--

--

192.168.1.121--

从小到大排序

[root@bogon ~]# sort q.txt

192.168.1.111

192.168.1.121

192.168.1.139

 排序  r是逆序 从大到小

[root@bogon ~]# sort -nr q.txt

192.168.1.139

192.168.1.121

192.168.1.111

统计出现的次数   空格5就是有五行空格

[root@bogon ~]# sort q.txt | uniq -c

      5

      1 192.168.1.111

      1 192.168.1.121

      1 192.168.1.139

从历史命令中提取使用率最高的前五个命令

[root@bogon ~]#  history | awk '{print $2}' | sort |uniq -c |sort -nr |sed -n '1,5p'

     12 ifconfig

     12 awk

      7 sort

      6 yum

      3 sed

从历史命令中提取使用率最高的前五个命令

[root@bogon ~]#  history | awk '{print $2}' | sort |uniq -c |sort -nr |awk 'NR<=5{print}'

     12 ifconfig

     12 awk

      7 sort

      6 yum

      3 sed

 命令修改配置文件方法

1. sed命令：

sed命令可以用来在文件中查找和替换文本。

例如，要将文件/etc/nginx/nginx.conf中的“worker_processes 1;”更改为“worker_processes 2;”，可以使用以下命令：
sudo sed -i 's/worker_processes 1;/worker_processes 2;/' /etc/nginx/nginx.conf

sed -i  “1i  asdfg” /etc 添加到第一行

2. awk命令：

awk命令可以用来处理文本文件中的数据。

例如，要将文件/etc/passwd中的所有用户的shell更改为/bin/bash，可以使用以下命令：


sudo awk -F: '{OFS=":"; $7="/bin/bash"} {print}' /etc/passwd > /tmp/passwd && sudo mv /tmp/passwd /etc/passwd


3. echo命令：

echo命令可以用来将文本输出到文件中。

例如，要将文本“Hello World”添加到文件~/test.txt的末尾，可以使用以下命令：


echo "Hello World" >> ~/test.txt


请注意，使用这些命令更改配置文件可能会导致配置文件中的语法  错误，因此在更改配置文件之前，请确保您知道自己在做什么，并备份原始文件。

学习新鲜事物
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sed 插入空格_4、Linux基础命令篇 sed
weixin_39880632的博客
12-19 5811
文本处理三剑客之一sed命令sed介绍基于行的编辑器，也称流编辑器，可以对文件内容进行 增删、改查 修改文件，当修改大量文件时，编写成脚本，批量执行就可以了，逐行处理，每次处理数据的时候，都将数据存放在一个 模式空间(oattern space),当每次处理数据时，将第一行方在空间里，处理第二行时，将第一行删除，逐行处理。默认一个print，自动将内容答应...
shell脚本中grep、sed、awk三个命令
sjc090132的博客
08-08 322
shell脚本grep、sed、awk
linux文本处理案例【grep，sed及awk】
奋斗的阿杰的博客
03-24 492
Linux处理文本经典案例
echo和grep简单组合问题
weixin_44548640的博客
07-14 2500
参照此文https://www.cnblogs.com/cyyz-le/p/11305004.html
linux中grep命令
weixin_33749131的博客
09-30 1259
1.作用Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 2.格式grep [options] 3.主要参数[options]主要参数： -a或--text 不要忽略二进制的数据。-A<显示列数>或-...
使用sed 为时间增加空格分隔符
weixin_50764555的博客
10-14 344
需求: 有个时间格式如下: 2021-02-1315:01:28 使用sed命令批量将时间分割为标准的时间格式; sed -i 's/[0-9][0-9]:/ &/' file -i 参数, 替换文件内容. 不加i 不替换文件内容, 只在终端输出结果 ...
shell脚本-grep、sed、awk三剑客
XMYX-0
03-19 912
Shell 脚本中的 grep、sed 和 awk 被称为 “三剑客”，它们是文本处理中的利器。grep用于快速搜索文本，sed则是对文本进行编辑和转换，而awk则提供了更强大的文本处理能力，可以按字段分割、执行条件操作等。这三者结合起来，能够处理各种文本处理任务，如日志分析、数据提取、格式转换等。
Linux三剑客awk、grep、sed详解
LongtengGensSupreme博客
08-05 6651
一、前言 linux 有很多工具可以做文本处理，例如：sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....，学习 linux 文本处理的懒惰方式（不是最好的方法）可能是：只学习grep，sed和awk。 使用这三个工具，你可以解决近 99％ linux 系统的文本处理问题，而不需要记住上面不同的命令和参数。:) 而且，如果你已经学会并使用了三者，你就会知道其中的差异。实际上，这里的
Linux文本处理（Linux三剑客grep、sed和awk）详解
ccc369639963的博客
01-12 4915
** 1. Linux cat命令：连接文件并打印输出到标准输出设备 ** cat 命令可以用来显示文本文件的内容（类似于 DOS 下的 type 命令），也可以把几个文件内容附加到另一个文件中，即连接合并文件。 关于此命令，有人认为写 cat 命令的人是因为喜欢猫，因此给此命令起名为“cat”，其实不然，cat 是 concatenate（连接、连续）的简写。 cat 命令的基本格式如下： [root@localhost ~]# cat [选项] 文件名 或者 [root@localhost ~]# ca
Shell脚本三剑客（grep、sed、awk）
小杨博客 学习交流
08-08 903
正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式是：由普通字符与元字符组成的文字模式普通字符包括大小写字母、数字、标点符号及一些其他符号，元字符则是指那些在正则表达式中具有特殊意义的专用字符正则表达式一般用于脚本编程与文本编辑器中Linux三剑客（grep、sed、awk）..........
shell脚本之正则表达式、grep、sed、awk
10-17
主要介绍了shell脚本之正则表达式、grep、sed、awk的相关知识，非常不错，具有一定的参考借鉴价值 ,需要的朋友可以参考下
shell最全基础2020年入门—从熟悉grep、sed、awk开始
01-09
文章目录前言一、什么是shellshell脚本大白话二、shell常用操作三、文本处理三剑客 — 搜索工具grep1.什么是grep2.格式3.主要参数4.pattern正则表达式主要参数：5. grep使用实例四、文本处理三剑客 — 流编辑器sed1....
linux系统，awk，grep，sed
08-13
主要减少linux系统中的查询三剑客grep,awk,sed的使用方法和详解，适合linux初学进行学习，适合在日常对于文本内容或者命令执行结果的搜索，可以完善和简便自己的工作内容和完善对于shell脚本的使用。
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。...
Linux中文件查找相关命令比较
最新发布
lurenyi168的专栏
06-16 372
Linux中与文件定位的命令有find、locate、whereis、which，type。
解决 Linux 和 Java 1.8 中上传中文名称图片报错问题
appearappear的博客
06-12 379
在 Linux 系统和 Java 1.8 中，当尝试上传含有中文名称的图片时，可能会遇到以下错误提示：为了解决这个问题，可以采取以下方法：在 Docker 的 中添加如下参数：Dockerfile使用以下命令启动 Java 程序，添加 参数：通过以上配置，确保了在启动 Java 程序时，使用了 UTF-8 编码，这样可以正确处理含有中文名称的文件，避免了报错问题的发生。3.5
Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问
派大夏的博客
06-14 1010
阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在​​Ollama官网​​可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI连接模型以及页面简单配置。总体还是比较简单的，更高阶的玩法，看小伙伴的反馈，后面更新比如自定义智能体、训练等。
Linux 命令大全
lly202406的博客
06-16 476
Linux是一个强大的操作系统，它通过命令行界面提供了丰富的功能和灵活性。了解和掌握各种Linux命令对于系统管理员和开发者来说至关重要。本文将为您提供一个全面的Linux命令大全，帮助您更好地理解和使用Linux系统。
Linux，shell ,gun基本概念和关系
ZMXdecode的博客
06-16 489
2、除了由内核控制硬件设备外，操作系统还需要工具来执行一些标准功能，比如控制文件（删除，复制，读取的权限，删除的权限）和程序（比如运行指定程序）。提供的是文件管理（这个文件管理不是我们的简单删除，复制什么的，具体可以查看操作系统的知识）、虚拟内存、设备I/O这些。3、Linux内核和GNU操作系统工具整合起来，就产生了一款完整的、功能丰富的免费操作系统所以通常将Linux内核和GNU工具的结合体称为Linux。，是一种特殊的交互式工具 ，用于提供用户与操作系统之间的交互接口。LiveCD测试发行版。
awk grep sed
04-11
b'awk grep sed'是三个在Linux和UNIX系统中常用的文本处理工具，用于搜索、匹配和替换文本中的内容，常用于shell脚本和命令行操作中。其中awk是一种用于数据处理和报告生成的语言，grep是用于搜索文本中的特定字符串...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值