Linux Shell 脚本编程（5）—文本过滤（正则表达式）

最新推荐文章于 2024-01-29 18:50:25 发布
最新推荐文章于 2024-01-29 18:50:25 发布
阅读量6.2k 收藏 9
点赞数 4
分类专栏： LINUX SHELL 脚本编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingfengliujian/article/details/78198110
版权

Linux Shell 脚本编程（5）—文本过滤（正则表达式）

文本过滤

正则表达式

  • 概念：一种用来描述文本模式的特殊语法
    由普通字符（例如：字符a到z），以及特殊字符（元字符，如/ * ？等）组成匹配的字符串
  • 文本过滤工具在某种模式之下，都支持正则表达式。
  • 注意！！！正则表达式，是以字符进行匹配的！！！！

1. 基本元字符集及其含义

元字符含义
^只匹配行首
$只匹配行尾
*单字符后紧跟*,匹配0个或多个此单字符
[ ]匹配[ ]内字符。可以是一个单字符，也可以是字符序列。可以使用.表示[ ]内字符序列范围，如用[1-5]代替[12345]
\用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。\可以使其失去应有意义
.匹配任意单字符
pattern{n}用来匹配前面pattern出现次数。n为次数
pattern{n, }m含义同上，但次数至少为n
pattern{n,m}含义同上，但pattern出现次数在n和m之间

这里写图片描述

#---grep命令使用---
jianliu@ubuntu:~/aa$ ls -l *.c
lrwxrwxrwx 1 jianliu jianliu  3 Oct  7 20:07 2.c -> 1.c
-rw-rw-r-- 1 jianliu jianliu 79 Oct  3 05:05 a1.c
-rw-rw-r-- 1 jianliu jianliu 79 Oct  3 05:17 b1.c
lrwxrwxrwx 1 jianliu jianliu  4 Oct  7 20:07 b3.c -> b1.c
lrwxrwxrwx 1 jianliu jianliu  4 Oct  7 20:07 b4.c -> b1.c
-rw-rw-r-- 1 jianliu jianliu 94 Oct  4 04:20 hello.c

jianliu@ubuntu:~/aa$ ls -l ?.c
lrwxrwxrwx 1 jianliu jianliu 3 Oct  7 20:07 2.c -> 1.c

#匹配权限位 \-:普通文件； r：所有者具有读权限。
#\-:‘-’特殊字符，进行转义！！！！
jianliu@ubuntu:~/aa$ ls -l | grep "\-r........"
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:05 a1.c
-rwxrwxr-x 1 jianliu jianliu 8501 Oct  6 19:26 app2
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:17 b1.c
-rw-rw-r-- 1 jianliu jianliu    0 Oct  7 23:16 efile
-rwxrwxr-x 1 jianliu jianliu    0 Oct 10 05:26 exe.app
-rw-rw-r-- 1 jianliu jianliu   94 Oct  4 04:20 hello.c
-rwxrwxr-x 1 jianliu jianliu   58 Oct 10 05:51 names.txt
-rwxrwxr-x 1 jianliu jianliu    0 Oct 10 05:49 names.txt~
-rw------- 1 jianliu jianliu  225 Oct 10 05:33 nohup.out
-r--r--r-- 1 jianliu jianliu    0 Oct  7 20:25 rd_file
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell01.sh
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell02.sh
-rwxrwxr-x 1 jianliu jianliu  382 Oct 10 06:49 test.sh
-rwxrwxr-x 1 jianliu jianliu  337 Oct 10 06:48 test.sh~
-rw-rw-r-- 1 jianliu jianliu 4827 Oct  7 23:21 test.txt

jianliu@ubuntu:~/aa$ ls -l | grep 'shell0.'
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell01.sh
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell02.sh

2. 使用句点匹配单字符

  • 句点“.”可以匹配任意单字符。
    例如，如果要匹配一个字符串，以 beg开头，中间夹一个任意字符，那么可以表示为b e g . n， “.”可以匹配字符串头，也可以是中间任意字符。

在ls -l命令中，可以匹配一定权限：

#在ls-l命令中，可以匹配一定权限：
...x..x..x   (pattern)
此格式匹配用户本身，用户组及其他组成员的执行权限。
drwxrwxrw-    未匹配
-rw-rw-rw-    未匹配
-rwxrwxr-x    匹配
-rwx-r-xr-x   匹配

假定正在过滤一个文本文件，对于一个有10个字符的脚本集，要求前4个字符之后为xc，匹配操作如下
....xc....
1234xc9870  匹配
2432xx0977  不匹配
0023xa3456  不匹配
9932xc3421  匹配

#注意！ “.”允许匹配ASCII集中任意字符、或者字母、或者数字。

3. 行首以^匹配字符串或字符序列

  • 只允许在一行的开始匹配字符或单词。例如，使用 ls -l命令，匹配目录。之所以可以样做是因为ls -l命令结果每行第一个字符是d，即代表一个目录。
^d
drwxrwxrw-    匹配
-rwxrw--wx    不匹配
drw-r-xr--     匹配

^001
1234cx2345   不匹配
2353xx9011   不匹配
0011xa8345   匹配

jianliu@ubuntu:~/aa$ ls -l | grep ^d
drwxrwxr-x 3 jianliu jianliu 4096 Oct  3 06:44 bb

jianliu@ubuntu:~/aa$ ls -l | grep ^.rw.rw.r..
lrwxrwxrwx 1 jianliu jianliu    3 Oct  7 20:07 2.c -> 1.c
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:05 a1.c
-rwxrwxr-x 1 jianliu jianliu 8501 Oct  6 19:26 app2
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:17 b1.c
lrwxrwxrwx 1 jianliu jianliu    4 Oct  7 20:07 b3.c -> b1.c
lrwxrwxrwx 1 jianliu jianliu    4 Oct  7 20:07 b4.c -> b1.c
drwxrwxr-x 3 jianliu jianliu 4096 Oct  3 06:44 bb
-rw-rw-r-- 1 jianliu jianliu    0 Oct  7 23:16 efile
-rwxrwxr-x 1 jianliu jianliu    0 Oct 10 05:26 exe.app
-rw-rw-r-- 1 jianliu jianliu   94 Oct  4 04:20 hello.c
-rwxrwxr-x 1 jianliu jianliu   58 Oct 10 05:51 names.txt
-rwxrwxr-x 1 jianliu jianliu    0 Oct 10 05:49 names.txt~
-rwxrwxr-x 1 jianliu jianliu  382 Oct 10 06:49 test.sh
-rwxrwxr-x 1 jianliu jianliu  337 Oct 10 06:48 test.sh~
-rw-rw-r-- 1 jianliu jianliu 4827 Oct  7 23:21 test.txt

#将各种模式结合使用
^...4cx....
#结果为：
1234cx2345   匹配
2354cc9011   不匹配
4564cx8345   匹配

#查找shell01.sh中的注释
jianliu@ubuntu:~/aa$ grep ^# shell01.sh
#!/bin/bash
#echo $4
#echo $5

4. 行尾以$匹配字符串或字符

  • 可以说$与^正相反，它在行尾匹配字符串或字符， $符号放在匹配单词后。假定要匹配以词trouble结尾的所有行，操作为：trouble$
jianliu@ubuntu:~/aa$ ls -l | grep c$
lrwxrwxrwx 1 jianliu jianliu    3 Oct  7 20:07 2.c -> 1.c
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:05 a1.c
-rw-rw-r-- 1 jianliu jianliu   79 Oct  3 05:17 b1.c
lrwxrwxrwx 1 jianliu jianliu    4 Oct  7 20:07 b3.c -> b1.c
lrwxrwxrwx 1 jianliu jianliu    4 Oct  7 20:07 b4.c -> b1.c
-rw-rw-r-- 1 jianliu jianliu   94 Oct  4 04:20 hello.c

    ^$   匹配空行
    ^.$  匹配包含一个字符的行

5. 用*$匹配单字符串或或其重复序列

匹配字符u一次或多次 
comter   
computer
compuuter
compuuuuter

6. 使用\屏蔽一个特殊字符的含义

  • 忽视该特殊字符的含义，仅认为其是一个普通字符。
#特殊字符如下：
 $ .  ' "  * [ ]   ^ | 0 \ + ?

假定要匹配包含字符"."的各行，而"."代表匹配任意单字符的特殊字符，因此需要屏蔽其含义。操作如下：
\.
上述模式不认为反斜杠后面的字符是特殊字符，而是一个普通字符，即句点。

假定要匹配包含^的各行，将反斜杠放在它前面就可以屏蔽其特殊含义。如下：  \^

如果要在正则表达式中匹配以".pas"结尾的所有文件，可做如下操作：
\*\.pas
即可屏蔽字符*的特殊含义。

7. 使用[ ] 匹配一个范围或集合

  • [A-Z] : A的左侧和Z的右侧不能有空格!!， -的左右均不能有空格！！！
  • [A-Za-z]: 用于匹配所有字母，其中Z和a中间不能有空格！！！ 
#1    假定要匹配任意一个数字，可以使用：
[0123456789]
jianliu@ubuntu:~/aa$ ls -l | grep shell[012][012]\.
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell01.sh
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell02.sh

#2   使用"-"简化匹配任意一个数字的操作
[0-9]  #匹配数字
jianliu@ubuntu:~/aa$ touch shell03.sh
jianliu@ubuntu:~/aa$ touch shell10.sh
jianliu@ubuntu:~/aa$ touch shell11.sh
jianliu@ubuntu:~/aa$ ls -l | grep shell[0-9][0-9]\.
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell01.sh
-rwxr-xr-x 1 jianliu jianliu  109 Oct  6 19:15 shell02.sh
-rw-rw-r-- 1 jianliu jianliu    0 Oct 11 07:59 shell03.sh
-rw-rw-r-- 1 jianliu jianliu    0 Oct 11 07:59 shell10.sh
-rw-rw-r-- 1 jianliu jianliu    0 Oct 11 07:59 shell11.sh

#3
[a-z] 任意小写字符    #正确写法
[ a-z ]   #错误！！   [a - z]  #错误

#4-------------------------------------------------------------
[A-Za-z]  从 A-Z、a-z的字母范围
[A-Z a-z]  #错误！！

#5-----------------------------------------------------------
[A-Za-z0-9] 匹配任意字母或数字
jianliu@ubuntu:~/aa$ cat test0.txt
a 
D 
e 
c 
f 
3 
1 
5 
7
jianliu@ubuntu:~/aa$ cat test0.txt | grep [A-Ca-c0-3]
a 
c 
3 
1 

#6------------------------------------------------
#在字符序列结合使用中，可以用 [ ]指出字符范围。假定要匹配一单词，以 s开头，中间有任意字母，以t结尾，那么操作如下：
s[a-zA-Z]t
jianliu@ubuntu:~/aa$ cat test0.txt
st
sat
sbt
s@t
s2t
saat
sbbt
sabt
saaat
sbbbt
sabct
jianliu@ubuntu:~/aa$ cat test0.txt | grep s[a-zA-Z]t
sat
sbt

jianliu@ubuntu:~/aa$ cat test0.txt | grep s[a-zA-Z]*t
st
sat
saat
sabt
saaat
sabct

#7--------------------------------------------------
  #匹配所有包含system后跟句点的所有单词，这里S可大写或小写。
jianliu@ubuntu:~/aa$ cat test0.txt 
system.h
system
System.h
asytem.h
jianliu@ubuntu:~/aa$ cat test0.txt | grep [S,s]ystem\.
system.h
System.h

8. ^位于[ ]中，即[^符号集]匹配除符号集以外的其他单字符

jianliu@ubuntu:~/aa$ cat test0.txt
st
sat
sbt
s@t
s%t
s*&t
s2t
s3t
saat
sbbt
s22t
s33t
s@@t
s%%t
sabt
saaat
sbbbt
sabct

jianliu@ubuntu:~/aa$ cat test0.txt | grep s[^a-zA-Z0-9]*t
st
s@t
s%t
s*&t
s@@t
s%%t


  • 使用\{ \}匹配模式设置模式出现的次数

  • pattern\{n\} 匹配模式出现n次。
  • pattern\{n,\} 匹配模式出现最少n次。
  • pattern\{n,m\} 匹配模式出现n到m次之间，n , m为0 - 2 5 5中任意整数。

jianliu@ubuntu:~/aa$ cat test0.txt
st
sat
saat
saaat
sbt
sbbt
sbbbt
s2t
s22t
s222t
s@@t
s%%t
sabt
sabct

jianliu@ubuntu:~/aa$ cat test0.txt | grep 'sa\{2\}t'
saat

jianliu@ubuntu:~/aa$ cat test0.txt | grep 'sa\{2,\}t'
saat
saaat

jianliu@ubuntu:~/aa$ cat test0.txt | grep 'sa\{1,3\}t'
sat
saat
saaat

jianliu@ubuntu:~/aa$ cat test0.txt | grep 's[a-z]\{1,3\}t'
sat
saat
saaat
sbt
sbbt
sbbbt
sabt
sabct

jianliu@ubuntu:~/aa$ cat test0.txt | grep 's[a-z0-9]\{1,3\}t'
sat
saat
saaat
sbt
sbbt
sbbbt
s2t
s22t
s222t
sabt
sabct


#注意！！！
   cat test0.txt | grep sa\{2\}t   //写法错误！！，不能省去' '

9. 匹配子串( )

jianliu@ubuntu:~$ echo -e  "mabc\n mc\n mac" | grep -E 'm(ab)?c'
mabc
 mc

jianliu@ubuntu:~$ echo -e  "mabc\n mc\n mac" | grep 'm\(ab\)\?c'
mabc
 mc

##注意两种写法的区别，详细见下一篇博客【grep】

10. 匹配给定文本中所有的单词

```C++
（ ?[a-zA-Z]+ ?)     
#“?”用于匹配单词前后可能出现的空格。 [a-zA-Z]+代表一个或多个字母（a~z和A~Z）。
//?前有一个空格！！！
```

11. 匹配一个IP地址

192.168.12.2
127.123.1.5
192.168.1.
....
192.168.1

jianliu@ubuntu:~/aa$ cat test0.txt | grep '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'
192.168.12.2
127.123.1.5

jianliu@ubuntu:~/aa$ cat test0.txt | grep '[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}'
192.168.12.2
127.123.1.5

12. 匹配邮箱

jianliu@ubuntu:~/aa$ cat test0.txt
jianliu0627@qq.com
dfhao@163.com
1122333@foxmail.com
_hha23@qq.com
+hhaa12@qq.com
jianliu98qqcom
joann@163com
__123qq@163com

jianliu@ubuntu:~/aa$ cat test0.txt | grep '[a-zA-Z0-9_]\{1,\}@[a-z0-9]\{1,3\}\.[a-z]\{1,\}'
jianliu0627@qq.com
dfhao@163.com
_hha23@qql.com
晴空❄雨霁
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
正则表达式规则以及贪婪匹配与非贪婪匹配详解
dvlinker的技术专栏
06-11 439
正则表达式规则以及贪婪匹配与非贪婪匹配详解
shell脚本正则表达式过滤文本
q1231vev的博客
08-17 294
匹配任意单个字符，可以是一个汉字[] 匹配指定范围内的任意单个字符，示例：[zhou] [0-9] [] [a-zA-Z] [:alpha:][^] 匹配指定范围外的任意单个字符,示例：[^zhou] [^a.z] [a.z][:alnum:] 字母和数字[:alpha:] 代表任何英文大小写字符，亦即 A-Z, a-z[:lower:] 小写字母,示例:[[:lower:]],相当于[a-z][:upper:] 大写字母。
shell之文本过滤（正则表达式）
聚沙成塔的专栏
09-14 4767
当从一个文件或命令输出中抽取或过滤文本时，可以使用正则表达式（R E） ，正则表达式是一些特殊或不很特殊的字符串模式的集合。   ^ 只只匹配行首 $ 只只匹配行尾 * 只一个单字符后紧跟*，匹配0个或多个此单字符 [ ] 只匹配[ ] 内字符。可以是一个单字符，也可以是字符序列。可以使用 -表示[ ]内字符序列范围，如用 [ 1 - 5 ]代替[ 1 2 3 4 5 ] \ 只用来屏
用正则表达式过滤脚本
weixin_33948416的博客
03-14 151
用正则表达式过滤脚本 在做一些网站（特别是BBS之类）时，经常会有充许用户输入html样式代码，却禁止脚本的运行的需求, 以达到丰富网页样式，禁止恶意代码的运行。 当然不能用 HtmlEncode 和 HtmlDecode 方法,因为这样连基本的html代码会被禁止掉。 我在网上搜索，也没有找到好的解决办法，倒是收集了一些脚本攻击的实例： 1. <script>标记中包含的代码 2....
liunx grep 正则过滤
纳川的博客
11-22 210
#查询 开始执行一个计划 . 代表任意字符 ***** 代表此字符出现0->到无穷大 grep -E --color '开始.*计划' file.log
linux shell脚本按行按关键字过滤字符串（sed常用用法）
大吉的博客
10-07 5496
需求 对 {"code":200,"message":"操作成功","data": somedatas 这一行进行过滤，要求只留下前面的状态码200 为了考虑到区分不出哪些是正则表达式，哪些是过滤条件，先过滤一部分： 测试：echo '{"code":200,"message":"操作成功","data":' | sed 's/^.*code//g' | sed 's/message.*$//g' 执行上述语句，过滤结果是：":200," 只留下200的过滤 很简单，只需要这么写表达式就行了 echo '{
运维看家本领之一：Shell脚本编程与正则表达式
12-08
在IT行业中，运维人员的日常工作离不开自动化工具的使用，而Shell脚本编程和正则表达式无疑是运维工程师的必备技能。这两个技术可以帮助运维人员高效地完成日常任务，提高工作效率，减少手动操作带来的错误可能性。 ...
Linux_Shell正则表达式语法doc
10-30
Linux Shell中的正则表达式是用于模式匹配的强大工具，它允许你在命令行或者脚本中进行复杂的文本查找、替换和处理。以下是对正则表达式关键知识点的...了解和熟练掌握正则表达式是提高Linux Shell脚本编程能力的关键。
Linux Shell脚本编程－－sed命令详解.zip_shell sed_命令介绍_脚本 shell
09-24
在Linux系统中，Shell脚本编程是日常自动化任务和系统管理的重要工具，而`sed`（流编辑器，Stream Editor）则是Shell脚本中的一个强大工具。本文将深入讲解`sed`命令的基本概念、功能以及在Shell脚本中的具体应用。 ...
Linux命令行与shell脚本编程 - 初识sed和gawk案例代码
最新发布
06-04
在Linux操作系统中，命令行和Shell脚本编程是日常运维和开发工作中不可或缺的技能。本文将深入探讨两个强大的文本处理工具：sed和gawk，它们在处理大量文本数据时尤其有用。通过学习这两个工具，你可以编写出高效且...
shell三剑客过滤文件内字符串长度输出
01-09
三剑客过滤长字符串 记一次过滤文件内容，三剑客awk、grep、sed过滤指定字段、列后，怎料其中混杂编码字符串，这不是我们想要的。所幸，找到了规律，那就是 它 很长…，直接干掉长字符串即可！ 下边是三把剑具体实现！ 我有三把剑，一把awk，一把grep，一把sed [root@centos]# cat test hello helloword test66 awk式 且看，统计字符串长度，用到招式 length() 函数 [root@centos]# echo hello | awk '{print length($1)}' 5 如看官所愿，得到字符串的长度 5 连招，加 if
shell脚本，批量替换字符串
02-11
将需要替换的文件放到脚本同级目录，直接执行脚本即可。 根据脚本提示输入 替换前和替换后的字符串
Linux正则表达式
11-06
Linux正则表达式，入门到精通，其中有练习题和答案，提高shell脚本编写能力。
shell脚本字符串处理
云端的蜗牛
05-25 425
shell脚本 截取第二个‘/'后面的字符串：sed -r 's/^([^\/]+\/){2}//'
Shell编程（四）文本过滤
coolwriter的博客
05-07 2469
文本过滤 简介：正则表达式、find介绍、grep介绍、awk介绍、sed介绍、合并与分割（sort、uniq、join、cut、paste、split）。 正则表达式 概念：一种用来描述文本模式的特殊语法 由普通字符（例如：字符a到z），以及特殊字符（元字符，如/ * ？等）组成匹配的字符串 文本过滤工具在某种模式之下，都支持正则表达式。 基本元字符集及其含义 练习 ...
linux shell 字符串处理过滤方法
gpio_01的博客
03-31 4976
1.grep 文本过滤命令 grep中的正则表达式 ^westos #以westos开头 westos$ #以westos结尾 'w....s' 'w.....' '.....s' grep -E = egrep 应用： cp /etc/passwd /mnt cd /mnt vim /mnt/passwd 添加（为后边的实验效果做准备）： test:test:root ROOT:test:test test:root:test grep ^root pas.
Linux Shell中的Grep过滤及正则表达式整理
weixin_30660027的博客
09-05 135
整理了grep常用到的参数和一些实例，还有正则表达式。（撒花） Grep更多时候是和其他的命令一起结合使用，主要是用于过滤出想要的结果。 转载于:https://www.cnblogs.com/jackolantern/p/11465668.html...
Shell中的文本处理：grep 文本过滤命令、sed 行编辑器
songyuchaoshi的博客
06-07 913
1.grep 文本过滤命令 （1）grep命令的简介 ##全面搜索研究正则表达式并显示出来 grep 命令（Global search regular expression and print out the line）是一种强大的文本搜索工具， 根据用户指定的‘模式’对目标文本进行匹配检查，打印匹配到的行。由正则表达式或者字符及基本文本字符所编写的过滤条件 （2）grep命令的基本用法 gre...
Linux系统——正则表达式
一坨小橙子的博客
01-29 1502
正则表达式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值