【Linux上分之路】第十二篇：Linux三剑客grep、sed、awk

最新推荐文章于 2024-05-08 16:18:48 发布
最新推荐文章于 2024-05-08 16:18:48 发布
阅读量723 收藏 2
点赞数 1
分类专栏： Linux 文章标签： linux 正则表达式 bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justilake/article/details/122147648
版权

冲

文章目录

Linux三剑客

Linux三剑客是grep、sed、awk三者的简称，熟练使用这三个工具程序可以提升工作效率，Linux三剑客是以正则表达式作为基础

Linux正则表达式

三剑客特点及应用场景

命令特点场景
grep过滤grep命令过滤文件速度是最快的
sed替换、修改文件内容对文件内容进行替换、修改，进行范围性的查找
awk取列，统计计算进行对比，比较(>、<、>= …)；统计计算

grep

grep：命令全称为global regular expressions print，gerp命令能够在一个或多个文件中，搜索某一特定的字符模式(也就是正则表达式)，此模式可以是单一的字符、字符串、单词或句子

grep命令的基本格式

grep [选项] 模式 文件名
选项：
-E：等同于egrep支持扩展正则表达式
-A：意为after，-A5 匹配内容并且显示接下来的5行
-B：意为before，-B5 匹配内容并且显示上面的5行
-c：列出文件中包含模式的行数，等同于wc -l
-v：列出没有匹配模式的行
-n：列出行号
-w：精准匹配，把表达式当做一个完整的单字符来搜寻

grep范例

grep命令范例文件emp.txt

101:China:Clack
102:American:Franklyn
103:England:Shelock
104:Canada:Henry
105:Russian:Wendy
106:Japan:Sukura
107:Korea:Irene
108:Germany:Bob

grep命令选项

-A、-B

Linux三剑客grepAB

-c、-v
Linux三剑客grepcv
-n、-w
Linux三剑客grepnw

grep的命令很强大，通过利用它的不同选项以及千变万化的正则表达式可以过滤出我们所需要的信息

sed

sed：命令全称为stream editor，流编辑器，主要用来过滤和替换文本

Linux三剑客sed简介

sed命令基本格式

sed [-nefr] [操作]
选项：
-n：只有经过sed处理的那一行内容才会别列出来，不加n默认显示所有内容
-e：直接到命令行模式上进行sed操作
-f：将sed操作写在一个文件内
-r：sed的操作使用的是扩展型正则表达式，默认为基础正则表达式
-i：直接修改文件内容而不是屏幕输出
操作说明：[n1,[n2] ] function
n1,n2：选择进行操作的行数
function选项：
c、a、i：新增字符
d：删除
p：打印，将选择的数据整个打印出来,以行号为单位
s：替换，可以直接进行替换工作，可以搭配使用正则表达式，以行号为单位

sed命令功能

sed本身是一个管道命令，可以将数据进行替换、删除、新增、选取等特定功能

功能功能说明
ssubstitute替换
p显示print
d删除delete
cai增加

sed执行过程

sed命令：sed -n ‘3p’ emp.txt，输出结果为：
在这里插入图片描述

sed执行流程

在这里插入图片描述

sed流程解析

  1. sed程序执行sed命令：sed -n ‘3p’ emp.txt 进行处理
  2. sed为流编辑器，对文件emp.txt内容一行一行读入内存中进行处理，将读入内存的一行内容进行判断
  3. 判断是否为第三行内容，不是则判断是有选项n，有则直接处理下一行，没有则将内存中写入的文件的一行内容输出
  4. 若判断文件改行的内容为第三行，则进行sed命令的功能操作，该命令中为p则打印第三行内容
  5. 例子当中没有加n选项时，第三行内容输出了两遍，是因为没有n时为默认输出，则文件中中的内容全部输出，但是又因第三行满足命令所需，则又会输出一次

sed功能

查找

在这里插入图片描述

删除

Linux三剑客sed删除功能

增加cai
  • c：replace替代这行的内容
  • a：append，向指定的行或每一行追加内容
  • i：insert，向指定的行或每一行插入内容

Linux三剑客sed增加功能

替换（重点）
替换格式：s###g，s///g，s@@@g
#、/、@任意特殊字符都可以都表示同一个意义，一般表示使用#、/,支持正则表达式
s：替换功能的表示
g：global，全局替换，sed默认只替换每一行匹配的内容，不加g只会进行匹配

Linux三剑客sed替换功能

sed的后向引用

Linux三剑客sed的后向引用

awk

awk是一门语言，是一个比sed更加强大的文本数据处理工具，awk取自于3位大师的首字母即：Aho、Weinggerger、Kernighan；主要用于过滤统计日志和计算

Linux三剑客awk简介

awk执行流程

在这里插入图片描述

awk执行案例分析

Linux三剑客awk执行案例

  1. 在awk读取文件emp1.txt之前执行BEGIN{}中的print “Test action start”
  2. 然后awk读取文件时，判断文件读取行数是否满足条件NR==3（即行号为3），满足该条件则执行对应的工作print $2，打印该行数对应的第二列值为England
  3. 读取文件之后，执行END{}中的print “end of file”

awk的内置变量

内置变量
NRNumber of Record 记录号，行号
NFNumber of field 每行有多少字段，$NF表示最后列
FSField Separator 字段分隔符，每个字段结束标记
OFSOutput Field Separator 输出字段分隔符，awk显示每一列之间的分隔符

awk行与列

行与列在awk中说明补充说明
行记录record每一行默认通过回车分割
列字段、域、field每一列默认是通过空格分割的

awk中的行与列的结束标志及分割标识是可以修改的

取行
awk表达式意义
NR==1取出某一行
NR>=1&&NR<=5取出1-5行范围
/word/找到特定word
/n1/,/n2/找到指定范围
Linux三剑客awk取行
取列

awk参数-F，标识指定分隔符，即指定每一列结束符标记（默认为空格、连续的空格、tab制表符）

数 字 ： 标 识 取 出 该 对 应 的 数 字 列 ， 与 数字：标识取出该对应的数字列，与 数字：标识取出该对应的数字列，与内容是一个意思，数字为0时为整行的内容

Linux三剑客awk取列2

awk模式匹配
awk-F，‘NR==3{print $2}’
命令选项‘模式，条件(动作)’

模式、条件可以分为：比较、正则、范围表达式、特殊条件（BEGIN、END）

比较

比较符号：>、<、>=、<=、==、!=

正则
  • //：支持扩展正则
  • awk可以精准到某一列，某一列中可以包含或不包含某个条件的内容
  • ~：包含
  • !~：不包含
一般正则awk正则
^：表示以某个开头的行某一列的开头
$：表示以某个结尾的行某一列的结尾
^$：表示空行某一列为空

Linux三剑客awk模式正则

表示范围
  • /开始 /,/结束/，常用的用法
  • NR == 1,NR==最后一行
Linux三剑客awk表示范围
特殊模式
  • BEGIN：在awk读取文件前打印信息
  • END：在awk读取文件之后打印信息

awk数组

awk数组主要用于统计日志、统计次数、累计求和

  • 统计日志
  • 统计次数：如统计每个ip出现次数、每种状态码出现的次数
  • 累计求和：每个ip消耗的流量
awk数组
形式array[0]=“hello” array[1]=“dance”
使用print array[0] array[1]
批量输出数组内容for(i in arrayname)
print arrayname[i]
awk数组专属循环,i获取的是数组的下标，数组内容为arrayname[i]
if判断if（条件）
print “some”
else
print “something else”

awk字母会被识别成变量,如果使用字符串需要加上双引号

Linux三剑客awk字母识别成变量

awk批量输出数组内容

Linux三剑客awk数组循环

总结

grep命令能够在一个或多个文件中，搜索某一特定的字符模式（也就是正则表达式），此模式可以是单一的字符、字符串、单词或句子；sed采用的是流编辑模式，最明显的特点是，在 sed 处理数据之前，需要预先提供一组规则，sed 会按照此规则来编辑数据；wk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理

赶紧学习起来吧！我是一个正在努力找回自我的人，希望能和一起学习的人成长，有错误的地方请各位大佬帮忙指正，如果觉得有帮助就点个赞当作对我的一个小肯定❤，peace&love

棉花糖超人
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux三剑客（grep、sed、awk）
qq_41323475的博客
11-16 1万+
linux三剑客的学习笔记
Linux文本三剑客(grep、sed、awk)
m0_63069714的博客
03-20 2534
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来(匹配到的标红)。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响源原文件内容。
什么是Linux三剑客
最新发布
Hello World
05-08 447
grep` 是一个用于搜索文本的工具，它可以快速地在文件中查找包含指定模式的行。首先，`sed` 命令将 "Linux" 替换为 "Unix"，然后 `grep` 过滤出包含 "test" 的行，最后将结果重定向到 `newfile.txt` 文件。`awk` 是一个强大的文本分析工具，它不仅可以进行模式匹配，还可以执行更复杂的文本处理任务，如计算、条件判断等。注意：`s/Linux/Unix/g` 中的 `g` 表示全局替换，如果不加 `g`，则只替换每行的第一个匹配项。
linux三剑客(awk,grep,sed)
qq_45670459的博客
11-14 1641
简单介绍awk,grep,sed命令，并举了部分示例
Linux三剑客（grep,awk,sed）
m0_50267176的博客
12-12 1745
在学习之前，我们要思考一个问题：Linux三剑客有哪些？（其实题目已经给出了答案）Linux三剑客可以提高文本处理能力，系统管理能力和脚本编辑能力，对于Linux系统的使用和管理都有着重要的作用。学习Linux三剑客（grep,sed,awk）有以下作用：grep：用于在文件中搜索指定的字符串，用于对文本进行替换和编辑，用于对文本进行分析和处理。掌握这三个工具可以提高文本处理的效率和精确度。Linux三剑客在系统管理中有着广泛的应用，可以用于日志分析，数据提取，批量处理等任务，提高系统管理效率。
【运维知识基础篇】Linux三剑客
吾日三省吾身，想出类拔萃，要把知识学牢，学全，学深，学广。
03-09 1607
吾日三省吾身，想出类拔萃，要把知识学牢，学全，学深，学广。今天给大家分享linux三剑客，grep，sed，awk。这仨都可以配合正则表达式使用。
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外...
linux系统，awk，grep，sed
08-13
主要减少linux系统中的查询三剑客grep,awk,sed的使用方法和详解，适合linux初学进行学习，适合在日常对于文本内容或者命令执行结果的搜索，可以完善和简便自己的工作内容和完善对于shell脚本的使用。
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
3.基础正则表达式： ^word 搜索以word开头的 4.扩展的正则表达式：ERE（egrep或grep -E） + 重复一次或一次以上前面的一个字符 5.理
linux三剑客
m0_66727391的博客
04-24 8437
grep 、sed、awk被称为linux中的"三剑客"。 　　grep 更适合单纯的查找或匹配文本 　　sed 更适合编辑匹配到的文本 　　awk 更适合格式化文本，对文本进行较复杂格式处理 系统三剑客-grep 正则查找 grep -v "^#|^$" 不显示注释行和空行 系统三剑客-sed sed 字符流的编辑器，处理每行的字符 全屏编辑工具 vi/vim cat >>xxx<<EOF...EOF 编辑脚本：修改文件内容时 1）擅长对行进行操作处理 （增删改查）...
linux常用三剑客
qq_42456324的博客
09-08 1224
Linux 三剑客是(grep,sed,awk)三者的简称,他们通常结合正则一起使用。grep擅长查找,sed擅长修改文件。awk擅长取列。
快速上手Linux核心命令（五）：文本处理三剑客
Gefangenes的博客
05-22 606
上一篇中已经预告，我们这篇主要说Linux文本处理三剑客。他们分别是grepsedawk。既然能被业界称为三剑客，可见其在Linux命令中占有举足轻重得地位。所以呢，这里也专门写一篇文章说一说其用法。
linux命令三剑客
dailittledragon的博客
03-12 364
linux三剑客
Shell脚本编程-总
baidu_29244931的博客
11-09 2059
Shell脚本编程一. SHELL入门1.1 变量1.1.1 变量名规范1.1.2 位置变量1.1.3 环境变量1.2 管道1.3 退出状态码1.3.1 退出状态码描述1.3.2 改变退出状态码的exit命令二. 判断与控制2.1 if-then 语句2.2 if-then-else 语句2.3 嵌套if语句2.4 条件测试-数值比较2.5 条件测试-字符串比较2.6 条件测试-文件比较2.7 符合条件测试2.8 if-then中使用双括号2.9 if-then中使用双方括号2.10 case命令三.
【linux三剑客】grep sed awk使用方法
Dayu_log的博客
02-01 204
sed awk grep
操作系统三剑客命令-grep、sed、awk
sjsjshhs134654的博客
12-12 864
awk基本原理是逐行处理文件中的数据，查找与命令行中所给定内容想匹配的模式，如果发现匹配内容，则进行下一个编程步骤，如果找不到匹配内容继续处理下一行。sed在处理时一次只读取文件的一行并对这一行进行处理，并且sed将处理后的数据只会显示在屏幕上，并不会对原文件进行修改，所以说sed是一个行编辑器。egrep "a{2}" 查询数据中a连续出现两次的行，2个a以上的行也会 显示，比如一行有aaa，aaaa都会显示出来。s/\n/ /' //末尾处有一个空格，表示行号后也有空格。
Linux 文本处理三剑客：grep、sed 和 awk
诗和远方，代码和你
08-09 1958
awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯的查找或匹配文本，sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值