Linux文本操作命令（awk、grep、sed、sort、uniq、wc）常用用法

已于 2023-06-20 21:48:11 修改
阅读量2.2k 收藏 10
点赞数 1
分类专栏： Linux 文章标签： 正则表达式 linux 运维
于 2023-06-20 21:44:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45728643/article/details/131231095
版权

目录

1.sed命令--编辑、过滤文本，非交互式，方便再脚本中使用

2.awk命令，对文本、数据进行过滤、统计、截取处理

2.1 awk命令脚本基本结构体

 2.2 用正则表达式进行匹配

 2.3 关系表达式、运算符表达式

2.4 模式匹配表达式 

2.5 awk 命令内部变量

 2.6awk命令的流程控制

 3.grep命令-根据某个规则查找文本

4.sort命令

5.uniq命令

6.wc命令

linux文本三剑客：grep（文本过滤）、文本截取（awk）、sed(文本替换）

1.sed命令--编辑、过滤文本，非交互式，方便再脚本中使用

sed的常用命令选项：

-n：只显示匹配处理的行（否则会输出所有）

 -e：执行多个编辑命令时（一般用；代替）

 -i：直接在文件中进行修改，而不输出到屏幕

-r：支持扩展正则表达式

-f：从脚本文件中读取内容并执行（文件中的编辑命令每行一个,不用；隔开）

sed的常用编辑命令：

p：打印匹配行 print

sed -n ‘/模式/p’  输入文件 这里的模式可以是正则表达式也可以是精确字符\

d：删除指定行 delete

a：在匹配行后面追加 append

 i：在匹配行前面插入 insert

 c：整行替换

r：将文件的内容读入  read

w：将文本写入文件  write

s：字符串替换（匹配正则表达式）substitution

 = :输出行号

n: 用新的命令去处理下一行

2.awk命令，对文本、数据进行过滤、统计、截取处理

常用的命令选项：
-F  指定分隔符 ，默认空白符


-v  var=value  将外部变量传递给awk


-f  scripfile 从脚本文件中读取awk命令

2.1 awk命令脚本基本结构体

由三大块组成：  'BEGIN{语句块} /模式/{动作} END{ 语句块}' ，BEGIN、模式通用语句块、END都是可选模块，可以不写。

BEGIN模块：在文本处理之前执行，并且只会执行一次。用于定义一些变量和输出一些内容

通用语句模块：读取文本的每一行交给这个语句块。

END模块：在读取完所有的行之后执行，统计、分析结果这些信息在END之中完成，只会执行一次。

 2.2 用正则表达式进行匹配

 2.3 关系表达式、运算符表达式

2.4 模式匹配表达式 

2.5 awk 命令内部变量

NF：每行的字段数 

NR：当前处理的行号

FS：指定当前的分隔符，默认是空格字符，相当于-F

OFS：指定当前输出的分隔符，默认是空格字符。

 2.6awk命令的流程控制

 统计每个班每个科目的平均分

 3.grep命令-根据某个规则查找文本

grep的三兄弟

命令是否支持正则支持的正则类型
grep支持基本正则表达式
egrep支持拓展正则表达式
fgrep不支持

常用的命令选项：

-a ：不要忽略二进制数据

-A ：显示该行以及之后的行after

-B ：显示改行以前的几行before

-c ：计算符合样式的列数

-C：除显示符合的行之外，还要显示之前和之后的行

-d ：如果要查找的是目录而不是文件时，必须指定这个参数

-E：将样式作为延申的普通标准来使用，grep -E=egrep

基本正则： ^  $  .  [  ]  

拓展正则：(  )  {  }  ?  +  |

-F ：将样式是为固定字符串的列表 grep -F = fgrep

（fgrep的用途：因为他不支持正则，所以当我们搜索的字符换内包含了很多特殊字符，而这些特殊字符恰好是正则表达式的预留字符时，我们就可以使用fgrep来避免繁琐的转义了）、

-f ：指定规则文件，其内容含有一个或者多个样式，让grep查找符合体哦阿健的文件内容

-i ：忽略大小写

-n ：显示符合条件的行之前显示行号

-o ：只显示符合匹配条件的那一部分

-v ：显示不包含匹配文本的所有行

-l ：列出文件中符合指定的样式的文件名称

例： 输出12 135 126 110 99 89 8 192中小于126的数

例：12.1.1.2  174.23.34.56 121.100.9.8 192.168.99.1 

4.sort命令

以行为单位，每行作为一个字符串

按照字符串的比较规则，首字母开始一次向后按照ascii码值进行比较

结果默认升序输出

常用命令选项：

-b ：忽略每行前面开始的空格字符

-c ：检查文件是都按照顺序排序

-d ：排序时，处理英文字母、数字及空格字符外，忽略其他的字符

-f ：排序时，将小写字母视为大写字母

-m ：讲几个排序好的文件进行合并

-n ：按照数值的大小进行排序

-u ：输出的结果去重

-o ：将排序后的结果存入指定的文件

-r ：以相反的顺序来排序

-k ：指定列进行排序

输出scwebsite.log文件中 ip访问量的前5名

5.uniq命令

uniq命令用于检查及删除文本中重复出现的行或列，一般与sort命令结合使用

-c ：在每列旁边显示该行重复出现的次数

-d ：仅显示重复出现的行列

-f ：忽略比较指定的栏位

-u ：仅显示出现一次的行列

-w ：指定要比较的字符

6.wc命令

计算文件的byte数、字数或者是列数

-c ：只显示byte数

-l ：显示行数

-w ：只显示字数

小莱勾
关注
专栏目录
用sed、awk和grep处理文本数据：实际需求的有效解决方案
漠效的博客
03-23 834
工作了好几年，也积攒了大量的脚本，有需求了改改旧脚本就可以了。对于以前没写过的脚本，比如想完成一个新需求，而某些参数可以满足的情况，网上搜索后，加上就行了，有什么困难的呢？所以对 “我” 个人来说，只有 “我” 有需要的参数对 “我” 才是有价值的，并且大多数的人实际上并不会用到除了常用的几个参数的其他功能，就是说很多功能它设计出来有，但是实际在大部分的生产环境中人们并不会用到。
正则表达式 awk sed grep 及小工具cun sort uniq tr paste
m0_62948770的博客
08-04 1919
正则表达式
awk sed grep sort uniq find 命令详解
YFHCSDN的博客
10-25 239
linux基础命令
Linux进阶命令-awk&uniq
最新发布
09-17 917
awk是shell里面的三剑客之一，它可以很简单，也可以很复杂。简单的用户就是对字符串进行截取。 uniq主要功能就是进行去重。
Linux文本处理命令合集
11-19
主要涉及shell脚本中文本处理常见命令，diff/patch查找文本差异，字符串截取cut、tr、uniq等
linux文本处理常用命令
一个80后IT之路
10-25 563
linux文本处理常用命令 linux文本处理命令：grep、sed、printf、awk (refer to https://www.cnblogs.com/sheeva/p/6406285.html ) 1.grep grep的作用是按行查找字符，输出包含字符的行。 #从文件查询 grep 'word' file.txt ...
linux文本处理常用指令总结
weixin_30653023的博客
02-16 115
引子 作为一个偏爱windows的程序员，以前做文本处理的时候总是喜欢在windows下用notepad++等图形化工具处理，比如有时需要把linux服务器上一个文件进行一次全局字符串替换这样简单的操作，还得把文件down到本地编辑好再传回去。这两天买了本《鸟哥的Linux私房菜》，终于静下心系统的学习了一下linux下的文本处理，感觉其实没有想象的难，如果早点学会节约下来的大量时间肯定远超过学...
Linux文本处理常用命令
和大黄的博客
12-14 1782
1.正则表达式   （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。   （2）基本元字符集及其含义       ^ ：只匹配行首。   如^a 匹配以a开头的行abc,a2e,a12,aaa,......       $ ：只匹配行尾。   如^a 匹配以a结尾的行bca,12a,aaa,.......
linux文本处理常用命令,Linux文本处理常用命令
weixin_35682426的博客
05-12 185
Linux文本处理常用命令：grep、sed、printf、awk、cut、sort1. grep按行查找字符，输出包含字符的行用法grep ‘key’ test.txtcat test.txt|grep ‘key’参数含义及示例-n输出结果加行号–color=auto匹配的关键字高亮显示-A2输出匹配行的后两行-B2输出匹配行的前两行-v反向查找，即输出不包含关键字的行-i关键字匹配时忽略关键字...
windows上可直接使用的awk、sed、grep等文本处理命令和彩色显示echo命令(from.Cygwin).zip
02-11
包含命令：awk、cat、cut、diff、echo、gawk、grep、head、sed、sort、tac、tail、tr、uniq、wc 可以在windows上cmd窗口显示彩色文字，用法：echo.exe -e "\033[32;1mGREEN\033[0m
Linux命令大全：awk、sed、grep及文本处理工具解析
"这篇文档详细介绍了Linux系统的几个关键命令，包括文本处理工具awk、sed、grep，以及sort、uniq、cut、paste、join、split、diff等工具的使用方法，并涉及正则表达式和文本级数据处理编程语言awk的基础知识。...
Shell——awk、sort、uniq工具命令详解
ML908的博客
12-06 1605
文章目录awk工具awk 包含几个特殊的内建变量（可直接用）如下所示：1、按行输出文本2、按字段输出文本3、通过管道、双引号调用Shell命令sort工具 （排序）uniq工具 （去重） awk工具 awk 所使用的命令格式，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。 awk 选项 ‘模式或条件 {...
Linux中常用的文本处理命令（echo、sort、uniq、tr、cut、split、eval）
zhangchang3的博客
03-23 1766
拆分文件 sort排序 字段过滤
linux文本处理常用命令,Linux下常用文本处理命令
weixin_39733943的博客
05-12 109
Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。这些小工具经过了几十年时间的洗礼，现在已经变成了经典，已经变成了Linux下面的标准，其实它们一直是遵循着Linux的标准。下面就让我们一起看看这些经典的Linux文本处理命令。一. sort文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并...
Linux 简单文本处理命令
王兆镇的博客
09-08 573
1、tr 命令可以用来删除一段文本信息中的某些文字。或者将其进行转换。 使用方式 tr [option]...SET1 [SET2] 常用的选项有 选项 说明 -d 删除和 set1 匹配的字符，注意不是全词匹配也不是按字符顺序匹配 -s 去除 set1 指定的在输入文本中连续并重复的字符 操作举例 #删除 "hello shiyanlou" 中所有的'o'，'l'，'h' $ echo 'hello shiyanlou' | tr -d 'olh' #将"hello" 中的ll，去重为一个
linux常用的文本处理命令
weixin_42176323的博客
05-24 199
输出到屏幕： echo命令：显示一行文本。 -n：不显示结尾的换行符。 -e：开启扩展选项。 -E：默认选项，表示关闭扩展选项。 \n：扩展选项，表示换行。 \t：扩展选项，显示tab。 printf命令：格式化或和显示数据。 [root@lg ~]# echo "Today is a good day." #显示一行文本 Today is a good day. [root@lg ~]# ec...
linux常用文本处理命令
wuud__的博客
01-12 245
wc：单词、行数、字节数统计。 格式：wc [OPTION]...  [FILES]... -l：只显示行数 -w：只显示单词数 -c：只显示字节数 cut：分割每行的字符。以列为单位对文本进行分割。 格式：cut [OPTION]... [FILE]... -d：指明分隔符。 -f：筛选输出的内容。有三种筛选方式： 指明...
linux中常用文本处理命令
make_progress的博客
08-23 356
Linux中文本处理命令，本文以“henu.txt”文件为例 1、wc命令：对文件行、字数（单词）、字符数做简单统计 参数（-l：仅列出行； -w：仅列出多少字(英文单字)； -m：多少字符；） 1）查看文件全部参数 more henu.txt wc henu.txt 其中16 16 41...
linux文本命令大全,Linux下常用文本处理命令大全
weixin_32283253的博客
05-12 303
Linux下常用文本处理命令大全Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。下面就让我们一起看看这些经典的Linux文本处理命令有哪些吧。一. sort文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想了解这个命令的全部参数请参考这个命令的info页.二. tso...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值