5-文本处理工具和正则表达式

已于 2024-03-29 16:33:29 修改
阅读量422 收藏 8
点赞数 3
分类专栏： 破晓 文章标签： 笔记
于 2024-03-23 11:32:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/No_TwentyFour/article/details/136963672
版权

目录

一、文件内容查看命令

cat

cat [OPTION]… [FILE]…
常见选项

-E #显示行结束符$
-A #显示所有控制符。Tab：^I；0d：^M；0a：$

-n #每一行编号
-b #非空行编号

-s #压缩连续的空行成一行

nl 显示行号

tac 行倒序显示

rev 同一行倒序显示

hexdump

查看非文本文件内容

-C 		  #十六进制和ASCII显示

-s N 	  #跳过前N个字节

-n length #规定输入长度

二、分页查看文件内容

常用来查看日志

more

more [OPTIONS…] FILE…

  1. 常用选项
-d #在底部显示提示
-s #压缩连续空行
  1. 命令选项
h 	   #显示帮助

= 	   #显示行号
:f 	   #显示文件名和当前行号
回车键 #下一行
空格键 #翻页

!CMD   #执行命令

less

less [OPTIONS…] FILE…

  1. 常用选项
-N #显示行号
-s #压缩连续空行
-e
-S
  1. 命令选项
:h 		#帮助
/string #搜索
b 		#向上翻
:!CMD 	#执行命令

三、显示文本前面或后面的内容

head 显示文件或标准输入的前面行

head [OPTION]… [FILE]…

常用选项

-n N | --lines=N 		#N为正数或纯数字：前N行；N为负数：[文件头,N-1]
-N 						#前N行

-c N | --bytes=N 		#前N个字节

-q | --quiet | --silent #不输出文件名
-v | --verbose 			#输出文件名

-z | --zero-terminated

tail 查看文件或标准输入的倒数行

tail [OPTION]… [FILE]…

常用选项

-n N | --lines=N 		 #N为负数或纯数字：后N行；N为正数：[N,文件尾]
-N 				 		 #后N行

-c N | --bytes=N 		 #后N个字节

-f | --follow=descriptor #跟踪变化，常用于日志监控
-F

-q | --quiet | --silent  #不输出文件名

-z

四、cut 按列抽取文本

cut OPTION… [FILE]…

常用选项

-d STRING 				  #指定分割符。默认：Tab
-f 		  				  #要显示的列。-f1、-f1,2,3、-f 2-4,5
--output-delimiter=STRING #输出时用指定字符代替分割符

-b
-c
-s
-z

五、paste 合并多个文件同行号的行到一行

paste OPTION… [FILE]…

常用选项

-d STRING #指定分割符。默认为TAB
-s 		  #将一个文件合成一行显示

-z

seq 100 | paste -s -d'+' | bc #求和1到100

六、wc 收集文本统计数据

wc OPTION… [FILE]…
默认统计行数、单词总数、字节总数

-l #统计行数
-w #统计单词数
-c #统计字节数

-m #统计字符总数
-L #显示文件中最长行的长度

七、sort 文本排序

sort OPTION… [FILE]…
默认以行为单位，从行首至行尾按ASCII升序排序

-t STRING #指定分割符
-k N 	  #指定排行列
-n 		  #按数字大小升序排序
-r 		  #降序。倒序

-b 		  #忽略文件中的空白
-u 	 	  #去重

-f
-h
-M
-R
-z

八、uniq 去重

uniq [OPTION]… [INPUT [OUTPUT]]
从输入中删除前后相连的重复的行。常和sort配合使用

-c #显示每行出现的次数
 
-d #仅显示有重复的行
-u #仅显示不重复的行

-D
-z

九、比较文件

diff

diff [OPTION]… FILES

-u #规定输出的文件格式

在这里插入图片描述
在这里插入图片描述

patch

patch [OPTION]… [ORIGFILE [PATCHFILE]]

-b #备份

vimdiff 比较两个文件的不同

相当于 vim -d

cmp 查看二进制文件的不同

在这里插入图片描述


十、正则表达式 Regular Expressions

分类：
基本正则表达式 BRE Basic Regular Expressions
扩展正则表达式 ERE Extended Regular Expressions

基本正则表达式元字符

  1. 字符匹配
. 		   #任意单个字符（除\n），可以是一个汉字或其他单个文字
[] 		   #任意括号中的单个字符。[.]：一个.
[^] 	   #任意不是括号中的单个字符

[:lower:]  #单个小写字母。写法：[[:lower:]]
[:upper:]  #单个大写字母
[:alpha:]  #单个大小写字母
[:alnum:]  #单个大小写字母或数字
[:digit:]  #单个十进制数字
[:xdigit:] #单个十六进制数字

[:blank:]  #单个空白字符（空格和制表符）
[:space:]  #比[:blank:]范围广。空格、制表符（水平和垂直）、换行符、回车符等

[:cntrl:]  #单个不可打印的控制字符（退格、删除、警铃...）

[:graph:]  #单个可打印的非空白字符
[:print:]  #单个可打印字符
[:punct:]  #单个标点符号

\s
\S
\w
\W
  1. 匹配次数
* 		#前面一个字符>=0次。贪婪模式，尽可能长的匹配
.* 		#任意长度的任意字符

\? 		#可有可无：前面一个字符0次或1次
\+ 		#前面一个字符>=1次

\{n\}   #前面一个字符n次
\{m,n\} #前面一个字符次数[m,n]
\{,n\}  #前面一个字符次数[0,n]
\{m,\}  #前面一个字符次数[m,无穷]
  1. 位置锚定
^ 			   #行首
$ 		 	   #行尾
^$ 			   #空行
^[[:space:]]*$ #空白行

\< | \b 	   #词首
\> | \b 	   #词尾
\<PATTERN\>    #单词：字母、数字、下划线
  1. 分组
    （1）后向引用
\1：第一个括号的内容
\2：第二个括号的内容
...

（2）| 或

a\|b 	   #a或b
12a\|b 	   #12a或b
12a\|12b   #12a或12b
12\(a\|b\) #12a或12b

扩展正则表达式元字符

1. 字符匹配（同）

2. 匹配次数
?
+
{}

3. 位置锚定（同）
\<\>

4. 分组
()
|

十一、文本处理三剑客

grep：配合正则表达式基于行过滤文本
sed：Stream EDitor。文本编辑工具
awk：Linux上实现gawk。文本报告生成器

grep Global search REgular expression and Print out the line

grep [OPTIONS…] PATTERN [FILE…]

-F #不支持正则表达式，等价于fgrep
-E #使用ERE，等价于egrep
-e #逻辑“或”。-e PAT1 -e PAT2
-m N #取匹配的前N行
-v #取反，取不匹配的行
-i #忽略字符大小写
-n #显示行号
-c #只显示匹配的行数
-o #仅显示匹配到的内容
-q #静默模式，不打印内容。若匹配成功，$?==0；反之，$?==1
-A N #显示匹配到的行及后N行
-B N #显示匹配到的行及前N行
-C N #显示匹配到的行及前后N行
-f file #从文件中读取匹配规则
-r #递归匹配，不处理链接
-R #递归匹配，处理链接
-l FILES #仅显示匹配到的文件的文件名
-H FILES #还要显示内容来自的文件
-c #统计匹配成功的行的数量
-w #匹配整个单词。-w root == '\<root\>'

sed Stream EDitor

  1. 工作原理

    sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。

    每当处理一行时，把当前处理的行存储在临时缓冲区 模式空间（PatternSpace） 中，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。

    vim将文件全加载到内存中，不适合改大文件

  2. sed 用法

sed [OPTION]… {script-only-if-no-other-script} [input-file]…

sed '' 		#script为空。等待标准输入，默认直接输出
sed '' file #默认输出file内容

（1）常用选项

-n #不输出模式空间内容至屏幕，即关闭自动打印
-e #多个script，或的关系。-e script1 -e script2
-E | -r #使用ERE
-i #修改文件。-i.bak备份

（2）script格式：地址 + 命令

AddrCmd 			#地址+命令。在哪些行，执行什么操作
AddrCmd;AddrCmd;... #多个脚本写在一起，用';'隔开

a）地址

 				#为空，则对全文处理

N 				#第N行
$ 				#最后一行
/PATTERN/ 		#匹配到PATTERN的每一行

M,N 	  		#第M行至第N行
M,+N 	  		#第M行至第M+N行
/pat1/,/pat2/ 
M,/pat/
/pat/,N

1~2 			#步长。1、1+2、1+2+2、...奇数行
2~2 			#偶数行

b）命令

p #打印当前模式空间内容，追加到默认输出之后
= #为模式空间中的行打印行号

a [\]text #在指定行后追加文本。可用\n实现多行追加。加\，则其后面的内容（包括空白符）都会追加！！
i [\]text #在指定行前追加文本。可用\n实现多行追加。不加\，则从非空字符开始追加！！
c [\]text #替换指定行为text。可用\n实现一行换多行；也可实现多行换一行

d #删除模式空间中匹配的行，并立即开始下一次循环

! #模式空间中匹配地址取反：不满足匹配地址的行执行命令

命令----搜索替换

s/pattern/replace/修饰符 #分割符可换：s///、s@@@、s###

#修饰符
g 	   		#行内全局替换
p 	   		#显示替换成功的行
w file 		#将替换成功的行存至file中
i | I  		#忽略大小写

#后向引用
\1 	   		#第一个分组
\2 	   		#第二个分组
...
& 	   		#所有搜索内容

注意：用sed取命令中的某些可变量时，将其()，用后向引用输出

取IP地址：
在这里插入图片描述

取分区利用率：
在这里插入图片描述

  1. sed高级用法（4.2.3）

tips

非交互式删除文件

在这里插入图片描述

No_TwentyFour
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
正则（三剑客和文本处理工具）
day day up
07-11 671
正则表达式，又称正规表达式、常规表达式，使用字符串来描述、匹配一些列符合某个规则的字符串 正则表达式是由普通字符与元字符组成 普通字符包括大小写字母、数字、标点符号及一些其他符号 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式Linux 中常用的有两种正则表达式引擎 基础正则表达式：BRE 扩展正则表达式: EREBRE——Basic Register Express 基本的正则表达式作用基础正则表达式常见元字符如下：注意：egrep、
文本处理工具和正则表达式
07-05
内容概述 文本编辑工具VIM 各种文本工具 基本正则表达式和扩展正则表达式 文本处理三剑客之grep 文本处理三剑客之sed 文本处理三剑客之awk
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
龙叔的博客
11-08 1万+
答应我，别再做无用功了
2024年Python最新Python 正则表达式：强大的文本处理工具
2401_84557521的博客
05-01 671
让我们来看一个简单的示例代码，展示如何使用正则表达式匹配和提取文本中的邮箱地址。 在上述代码中，我们首先导入re模块，这是Python中用于操作正则表达式的标准库。然后，我们定义了一个字符串变量text，其中包含了两个邮箱地址。接下来，我们使用正则表达式来匹配文本中的邮箱地址。这个正则表达式可以匹配符合邮箱格式的字符串。最后，我们使用re.findall()函数提取了所有匹配的邮箱地址，并通过for循环打印出来。案例说明：在我们的示例代码中，我们成功地提取了文本中的两个邮箱地址。让我们来详细讲解一下代码的实
正则表达式与文本处理器
gcc001224的博客
05-06 777
文章目录引言一、正则表达式1.正则表达式的定义2.基础正则表达式元字符3.扩展正则表达式元字符 引言 正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 一、正则表达式 1.正则表达式的定义 正则表达式，又称正规表达式、常规表达式 使用字符串来描述、匹配一系列符合某个规则的字符串 正则表达式组成 普通字符——大小写字母、数字、标点符号
文本处理工具及正则表达式
szb521的博客
06-21 1046
文本处理工具和VIM
悟懂Linux第20章shell编程-正则表达式②扩展正则表达式
华为奋斗者精神
10-20 1926
gawk程序可以使用大多数扩展正则表达式模式符号，并且能提供一些额外过滤功能，而这些功能都是sed编辑器所不具备的。扩展正则表达式是一种标准的正则表达式语法，通常用于UNIX和Linux系统的命令行工具中，如grep、sed、awk等。如果字符组中的字符出现了0次或1次，模式匹配就成立。但如果两个字符都出现了，或者其中一个字符出现了2次，模式匹配就不成立。如果字符e并未在文本中出现，或者它只在文本中出现了1次，那么模式会匹配。通过指定间隔为1，限定了该字符在匹配模式的字符串中出现的次数。
Linux系统Shell脚本-----------正则表达式 文本三剑客之---------grep、 sed
zzzxxx520369的博客
01-30 1977
1、正则表达式---通常用于判断语句中，用来检查某一字符串是否满足某一格式2、正则表达式是由普通字符与元字符组成3、普通字符包括大小写字母、数字、标点符号及一些其他符号4、元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符或表达式)在目标对象中的出现模式sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。
正则表达式(全)
热门推荐
a_b_e_l_的博客
08-09 24万+
通过上面几个简单的示例，可以了解到常见的基础正则表达式的元字符主要包括以下几个^ 匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配”^”字符本身，请使用"\^"$ 匹配输入字符串的结尾位置。如果设置了RegExp对象的 Multiline属性，则"$”也匹配'\n'或'\r’,。要匹配”$"字符本身，请使用”\$". 匹配除"\r\n"之外的任何单个字符\ 反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义* 匹配前面的子表达式零次或多次。...
正则表达式与文本处理工具
hy199707的博客
02-02 1542
grep、sed 和 awk 是Linux/Unix环境下的三个非常强大的文本处理工具，它们在命令行中广泛用于搜索、替换和分析文本数据。
Linux学习笔记 第八章 文本处理工具与正则表达式
mayunfei233的博客
12-14 982
文章目录1.1文本提取工具 1.1文本提取工具 1.cat：查看文件内容，打印一个或多个文件到标准输出 -n 打印行号 cat -n file1 file2 >> file3 2.head：默认打印前十行，可以接受文件和管道 - n +N 指定前N行，默认不带符号 - n -N 去掉末尾N行 cat -n file1 | head -n 5 查看开头5行，带行号 cat -n file1 | head -n -5 查看除掉末尾5行的所有行，带行号 3.tail：默认打印后十行 - n -N 指定
go语言基础-----11-----正则表达式
weixin_44517656的博客
01-30 443
1 正则表达式介绍 正则表达式是一种进行模式匹配和文本操纵的复杂而又强大的工具。虽然正则表达式比纯粹的文本匹配效率低，但是它却更灵活。按照它的语法规则，随需构造出的匹配模式就能够从原始文本中筛选出几乎任何你想要得到的字符组合。 Go语言通过regexp标准包为正则表达式提供了官方支持，如果你已经使用过其他编程语言提供的正则相关功能，那么你应该对Go语言版本的不会太陌生，但是它们之间也有一些小的差异，因为Go实现的是RE2标准，除了\C，详细的语法描述参考：http://code.google.com/p/r
linux文本处理工具及正则表达式集锦
10-19
主要介绍了linux文本处理工具及正则表达式集锦,非常不错，具有参考借鉴价值，需要的朋友可以参考下
清华大学精品Python学习PPT课件-第5章 Python正则表达式.pptx
05-16
正则表达式是匹配字符串模式的强大工具。在Python中，使用`re`模块来处理正则表达式。一些常用功能包括： - `re.search(pattern, string)`：在字符串中查找第一个匹配的模式。 - `re.findall(pattern, string)`：...
文本处理工具三剑客之---grep （正则表达式引擎，正则表达式元字符）.md
01-20
grep命令配合正则表达式
微信小程序开发笔记之”表单读不出数据“解决指南
qq_46396470的博客
07-12 298
脑瓜子好了后，忘记了表单控件必须要加上。提交后打印的字典是空的，卡了十几分钟。
mysql笔记1
m0_62975692的博客
07-11 350
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
计算机网络复习笔记【面向考纲整理】
最新发布
无
07-13 316
计算机网络（简称网络）由若干结点（node，节点）和连接这些结点的链路（link）组成。
HTML CSS 基础复习笔记 - 框架、装饰、弹性盒子
forevercui的博客
07-09 1273
弹性盒子 - 学习 Web 开发 | MDN (mozilla.org)flex-flow：flex-flow属性是flex-direction属性和flex-wrap属性的简写形式align-items：flex-start | flex-end | center | baseline | stretch （单行）
正则表达式(Regular Expression)是一种文本模式，包括普通字符和特殊字符
12-05
正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。 正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。 正则表达式是繁琐的，但它是强大的，学会之后的应用会让你除了提高效率外，会给你带来绝对的成就感。只要认真阅读本教程，加上应用的时候进行一定的参考，掌握正则表达式不是问题。 许多程序设计语言都支持利用正则表达式进行字符串操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值