day019-特殊符号、正则表达式与三剑客

最新推荐文章于 2025-05-23 15:10:34 发布
最新推荐文章于 2025-05-23 15:10:34 发布
阅读量1k 收藏 16
点赞数 26
分类专栏： 老男孩教育Linux运维99期 文章标签： 正则表达式 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52174380/article/details/148124378
版权

文章目录

1. 磁盘空间不足-排查流程

在这里插入图片描述

2. 李导推荐书籍

2.1 大话存储

在这里插入图片描述

2.2 性能之巅

在这里插入图片描述

3. 特殊符号

3.1 引号系列（面试题）

引号说明
反引号执行命令
单引号所见即所得。单引号中的内容不会被解析，直接进行输出。
双引号一些特殊符号会被解析：``,$(),$……
不加引号特殊符号会被解析，额外支持{}、*通配符

3.2 重定向符号

重定向符号说名使用
>或1>标准输出重定向创建文件并写入内容
>>或1>>标准输出追加重定向修改配置文件
2>标准错误输出重定向较少单独使用
2>>标准错误输出追加重定向较少单独使用
>>oldboy.log 2>&1;
&>>oldboy.log		正确输出和错误输出都写入到同一个文件运行脚本或命令时经常使用
<或0<标准输入重定向，与特定命令使用，读取文件内容：tr、xargs其他命令几乎不会用
<<或0<<标准输入追加重定向，cat命令向文件中批量写入多行内容cat常用

3.2.1 cat与重定向

  • cat命令写文件

在这里插入图片描述

  • EOF为标识符标识内容的结束，用其他符号也行。

3.2.2 tr命令：替换字符

[root@oldboy99-Kylin /oldboy]# cat w.txt 
 16:26:42 up 83 days,  7:42,  1 user,  load average: 0.00, 0.00, 0.00
 07:05:48 up 18:42,  2 users,  load average: 0.01, 0.01, 0.00
[root@oldboy99-Kylin /oldboy]# tr 'a-z' 'A-Z' < w.txt 
 16:26:42 UP 83 DAYS,  7:42,  1 USER,  LOAD AVERAGE: 0.00, 0.00, 0.00
 07:05:48 UP 18:42,  2 USERS,  LOAD AVERAGE: 0.01, 0.01, 0.00
  • tr接受标准输入的数据，将数据中的小写字符都替换成本大写字符

3.2.3 xargs：参数转换

  • xargs的作用：从标准输入接受多个参数并转换成多行
  • seq num：形成一列的序列数字
[root@oldboy99-Kylin /oldboy]# seq 10 > num.txt
[root@oldboy99-Kylin /oldboy]# cat num.txt
1
2
3
4
5
6
7
8
9
10
[root@oldboy99-Kylin /oldboy]# xargs -n 3 < num.txt
1 2 3
4 5 6
7 8 9
10

3.2.4 标准全量追加重定向

  • >>oldboy.log 2>&1
  • &>>oldboy.log
[root@oldboy99-Kylin /oldboy]# echo skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# echo skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# echo skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# echo1 skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# echo1 skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# echo1 skx >> oldboy.log 2>&1
[root@oldboy99-Kylin /oldboy]# cat oldboy.log 
skx
skx
skx
-bash: echo1: command not found
-bash: echo1: command not found
-bash: echo1: command not found

4. 正则表达式

正则表达式：regular expression，对字符进行查找或过滤。

正则表达式符号命令
基础正则^、&、.、*、[]grep、sed、awk
扩展正则|、+、{}、()、?egrep/grep -E、sed -r、awk

4.1 基础正则

4.1.1 测试文件

cat >/oldboy/re.txt<<EOF
I am oldboy teacher!
I teach linux.
I like badminton ball ,billiard ball and
chinese chess!
my blog is http://oldboy.blog.51cto.com
our size is http://blog.oldboyedu.com
my qq is 49000448
not 4900000448.
my god ,i am not oldbey,but OLDBOY!
EOF

4.1.2 查找以I开头的行

[root@oldboy99-Kylin /oldboy]# grep '^I' re.txt -n
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!

4.1.3 查找以m结尾的行

  • 文件中以m结尾的行最后还有空格
  • cat -A：显示文件中的隐藏字符
[root@oldboy99-Kylin /oldboy]# cat -A re.txt 
I am oldboy teacher!$
I teach linux.$
$
I like badminton ball ,billiard ball and chinese chess!$
my blog is http://oldboy.blog.51cto.com  $
our size is http://blog.oldboyedu.com  $
$
my qq is 49000448$
not 4900000448.$
$
my god ,i am not oldbey,but OLDBOY!$
[root@oldboy99-Kylin /oldboy]# grep 'm  $' re.txt 
my blog is http://oldboy.blog.51cto.com  
our size is http://blog.oldboyedu.com

4.1.4 查找非空行

  • ^$：表示过滤空行
[root@oldboy99-Kylin /oldboy]# grep -vn '^$' re.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
5:my blog is http://oldboy.blog.51cto.com  
6:our size is http://blog.oldboyedu.com  
8:my qq is 49000448
9:not 4900000448.
11:my god ,i am not oldbey,but OLDBOY!

4.1.5 排除sshd配置文件中空行和以#开头的行

grep -Evn '^$|^#' /etc/ssh/sshd_config

4.1.6 过滤出以I开头以！结尾的行

  • .：表示任意字符
  • *：表示前一个字符出现0次或多次
[root@oldboy99-Kylin /oldboy]# grep '^I.*!$' re.txt 
I am oldboy teacher!
I like badminton ball ,billiard ball and chinese chess!

4.1.7 过滤出含有大写字符的行

[root@oldboy99-Kylin /oldboy]# grep -n '[A-Z]' re.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
11:my god ,i am not oldbey,but OLDBOY!

4.1.8 过滤出含有大写字符或数字的行

[root@oldboy99-Kylin /oldboy]# grep -n '[A-Z0-9]' re.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
5:my blog is http://oldboy.blog.51cto.com  
8:my qq is 49000448
9:not 4900000448.
11:my god ,i am not oldbey,but OLDBOY!

4.1.9 过滤出文件中以I或m或n开头的并且以！或数字结尾的行

[root@oldboy99-Kylin /oldboy]# grep '^[Imn].*[0-9!]$' re.txt 
I am oldboy teacher!
I like badminton ball ,billiard ball and chinese chess!
my qq is 49000448
my god ,i am not oldbey,but OLDBOY!

4.1.10 过滤出以.结尾的行

[root@oldboy99-Kylin /oldboy]# grep -n '\.$' re.txt 
2:I teach linux.
9:not 4900000448.
####################################################
[root@oldboy99-Kylin /oldboy]# grep -n '[.]$' re.txt 
2:I teach linux.
9:not 4900000448.

4.2 扩展正则

4.2.1 查询sshd或rsyslog进程

[root@oldboy99-Kylin /oldboy]# ps -ef |grep -E '[s]shd|[r]syslog'
root         866       1  0 08:27 ?        00:00:00 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
root         908       1  0 08:27 ?        00:00:01 /usr/sbin/rsyslogd -n -i/var/run/rsyslogd.pid
root        1670     866  0 09:55 ?        00:00:00 sshd: root [priv]
root        1696    1670  0 09:55 ?        00:00:00 sshd: root@pts/0

4.2.2 统计文件中单词次数，取出前5

  • +：前一个字符出现一次或多次
  • -o：输出匹配的字符
[root@oldboy99-Kylin /oldboy]# grep -Eo '[a-zA-Z]+' re.txt |sort |uniq -c |sort -k1nr |head -5
      3 blog
      3 I
      3 is
      3 my
      2 am

4.2.3 统计文件中字母次数，取出前5

[root@oldboy99-Kylin /oldboy]# grep -Eo  '[a-zA-Z]' re.txt |sort |uniq -c |sort -k1nr |head -5
     18 o
     15 l
     12 b
     11 i
     11 t

4.2.4 过滤最少有3个最多有5个连续数字的行

[root@oldboy99-Kylin /oldboy]# grep -E '[0-9]{3,5}' re.txt 
my qq is 49000448
not 4900000448.

4.2.5 小括号（）：表示一个整体

[root@oldboy99-Kylin /oldboy]# lscpu |grep -E 'L(1d|1i|2|3)'
L1d cache:                          32 KiB
L1i cache:                          32 KiB
L2 cache:                           256 KiB
L3 cache:                           8 MiB
#############################################################
[root@oldboy99-Kylin /oldboy]# lscpu |grep -E 'L(1[di]|[23])'
L1d cache:                          32 KiB
L1i cache:                          32 KiB
L2 cache:                           256 KiB
L3 cache:                           8 MiB

5. awk和正则

  • -F：Field Separator，字段分隔符

5.1 取出passwd文件中第1、2列和最后一列

[root@oldboy99-Kylin ~]# awk -F ':' '{print $1,$2,$NF}' /etc/passwd |head -5 |column -t
root    x  /bin/bash
bin     x  /sbin/nologin
daemon  x  /sbin/nologin
adm     x  /sbin/nologin
lp      x  /sbin/nologin

5.2 取出ip a命令中的ip地址

  • awk按照空格或斜线作为分隔符
[root@oldboy99-Kylin ~]# ip a show ens33 |awk -F '[ /]+' 'NR==3{print $3}'
10.0.0.200

5.3 获取文件中系统的运行时间

文件内容：

cat >> w.txt <<EOF
16:26:42 up 83 days,  7:42,  1 user,  load average: 0.00, 0.00, 0.00
07:05:48 up 18:42,  2 users,  load average: 0.01, 0.01, 0.00
EOF

[root@oldboy99-Kylin /oldboy]# awk -F 'up +|, +[0-9]+ +user' '{print $2}' w.txt 
83 days,  7:42
18:42

在这里插入图片描述

5.4 awk取行

  • awk ‘NR==3’
  • awk ‘NR>=3’
  • awk ‘NR>=3&&NR<=10’
  • awk ‘/匹配行的正则表达式/’ 文件名
  • 在passwd文件中过滤包含root或oldboy的用户信息
[root@oldboy99-Kylin ~]# awk '/^root|^oldboy/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
oldboy:x:1000:1000::/home/oldboy:/bin/bash

6. 思维导图

【金山文档】 思维导图 https://www.kdocs.cn/l/co3I7PtpTYQX

Linux笔记 Day10---(正则表达式；split、mv、cut、sort、uniq、wc、head、tail、find、which、whereis、locate命令)
weixin_45880055的博客
07-23 2137
分割文档的命令 split Linux split命令用于将一个文件分割成数个。 该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件，同时默认分割后的文件的名称会以 x 作为前缀，以 aa、ab、ac 这样的双字母格式作为后缀，形成 xaa、xab 这样的名称格式。当然也可以给分割后文件指定名字，不过系统还会给指定的名字后添加字母后缀 用法： 选项： 行数 : 指定每多少行切成一个小文件 -l 行数： 等价于- 行数 -b<字节> : 指定每多少字节切成一个小文件，
linux 文本处理三剑客（grep、sed、awk）修改
m0_68980728的博客
04-04 717
文本处理grep sed
day28-正则表达式和三剑客
hcb20010421的博客
01-03 754
正则表达式就是为了处理大量的字符串而定义的一套规则和方法。通过定义的这些特殊符号的辅助，系统管理员就可以快速过滤，替换或输出需要的字符串。Linux 正则表达式一般以行为单位处理的。基础正则 BRE.*[abc][^abc]\{n,m\}egrep被淘汰，使用grep -E可以是用grep -o参数，查看每次匹配的结果正则需要在练习中理解其含义，无法死记硬背后面结合sed、awk发挥更多正则作用。
day16--系统正则表达式
weixin_44828943的博客
08-16 243
day16–系统正则表达式 一、课程回顾 文件属性章节 [root@zzxCentOS7 ~]# ll -i /etc/hosts 16806797 -rw-r--r-- 1 root root 183 Jul 26 20:50 /etc/hosts 1.inode信息 inode block 2.文件类型和文件权限 f/- d l 查看文件类型命令：file 文件权限：r =4 w=2 x=1 无权限=0 . getenforce设置相关，系统自带有. 自创文件无. 3.硬链接数 硬链接：读取文件的多个
day16-通配符及正则表达式
weixin_44695383的博客
04-17 115
常用正则表达式特殊字符及含义 类别 区别 支持的命令 通配符 方便我们进行查找文件 Linux下面大部分命令支持 正则 方便我们进行过滤（在文件中找内容） Linux三剑客 开发语言Python Go PHP JAVA 基础正则表达式符号 字符 作用 ^ 以……开头的行 $ 以……什么结尾 ^$ 组合符号，表示空行 . 点号，表示匹...
day06-grep及正则表达式
Vainglory
10-23 272
grep及正则表达式：Linux上文本处理三剑客 grep：文本过滤(模式：pattern)工具; grep, egrep, fgrep sed：stream editor，文本编辑工具； awk：Linux上的实现gawk，文本报告生成器；grep: Global search REgular expression and Print out the li
（day11）Linux正则表达式知识
weixin_51866597的博客
05-31 474
rw-------. 1 root root 1437 3月 17 15:05 anaconda-ks.cfg。-rw-r--r--. 1 root root 0 5月 30 14:39 qulan.txt。-rw-r--r--. 1 root root 0 5月 30 14:39 ql.txt。-rw-r--r--. 1 root root 0 5月 30 14:48 q.txt。drwxr-xr-x. 2 root root 20 5月 31 14:28 test。
day 17 特殊符号与正则表达式
weixin_34224941的博客
07-31 122
复习：磁盘空间不足系列：原因 排查过程解决1.block du –h; du –sh /data/*确认之后删除2.block（硬链接数为0，进程调用数不为0） lsof|grep d...
全网超详细shell（包含正则表达式三剑客），带你快速入门
LCL_18的博客
10-10 1665
Shell 是一个应用程序，它连接了用户和 Linux 内核，让用户能够更加高效、安全、低成本地使用 Linux 内核，这就是 Shell 的本质。然而Shell本身并不是内核的一部分，它只是站在内核的基础上编写的一个应用程序，但是 Shell 也有着它的特殊性，就是开机立马启动，并呈现在用户面前；用户通过 Shell 来使用 Linux，不启动 Shell 的话，用户就没办法使用 Linux。
shell脚本基础（含正则表达式）
秋的博客
10-23 1518
为了方便以后使用和复习整理记录一下学习shell脚本的笔记希望对大家有所帮助！
【面试 - 八股文】Linux 高频面试题，助你吊打面试官系列
m0_67322837的博客
06-22 1578
继上次输出【面试-八股文】mysql 万字总结，助你吊打面试官，业界反响还不错从 linux 基础、三剑客（grep\sed\awk）、shell 脚本编程、文件管理命令、磁盘管理命令、网络通讯命令、系统备份命令 以及 高频面试题角度出发的呕心力作（呵呵呵*2）只为助你拿下高薪 offer建议小伙伴先一键三连点赞、关注、收藏（其实收藏对你们帮助大，你点赞+关注就当是温大大的朋友啦，日后朋友有难温大大第一个站出来帮你哟，咱们拒绝白嫖）从大的方面讲，Linux 体系结构可以分为两块：为什么 Linux 体系结构
第三节 Vim编辑器与Shell命令脚本
u012616827的博客
11-05 699
这里的脚本主要使用 ping 命令来测试与对方主机的网络连通性，而 Linux 系统中的 ping 命令不像 Windows 一样尝试 4 次就结束，因此为了避免用户等待时间过长，需要通过-c 参数来规定尝试的次数，并使用-i 参数定义每个数据包的发送间隔，以及使用-W 参数定义等待超时时间。我们要关注的是 while 条件循环语句中的条件测试始终为 true，因此判断语句会无限执行下去，直到用户输入的数值等于 expr 命令取得的数值后，才运行 exit 0 命令，终止脚本的执行。
老男孩Linux高新运维第28期最终篇+老男孩Linux运维+老男孩linux运维全套
weixin_43757479的博客
11-28 1291
课程介绍： 老男孩linux运维28期教程，录制于2016年5月份，比较新，收录的也比较全 课程一共是565集，由于内容太多百度总是和谐，内容全部分开压缩了!-------------------课程目录------------------- ├0001-老学员学习方法心得分享说明.mp4 ├0002-老男孩运维26期学员侯同学-13k入职.mp4 ├0003-老男孩运维26期学员曹同学-年薪21...
Linux文件管理之(高级)、⽂件查找、上传与下载、输出与重定向、字符处理命令、打包压缩解压缩、文件系统
大大的博客
06-21 1636
文章目录一、 文本处理三剑客命令初探1.1 sed1.2 awk1.3 grep二、 文件管理之：文件查找一、查看命令所属文件二、查找文件按文件名：按文件大小：指定查找的目录深度：按时间找(atime,mtime,ctime)：按文件属主、属组找：按文件类型：根据inode号查找：-inum n按文件权限：三、 找到后处理的动作：扩展知识：find结合xargs三、 文件管理之：上传与下载1）下载wget命令curl命令sz命令2）上传rz命令四、 文件管理之：输出与重定向输出输入重定向五、 文件管理之：字
正则表达式篇
fictionist的博客
05-22 951
正则表达式是一种强大的文本处理工具，可以精确地描述要匹配的字符组合，使文本处理更加高效。它广泛应用于文本编辑、数据处理、网络编程等领域。
Android正则表达式
最新发布
zhifanxu的专栏
05-23 265
匹配邮箱用户名：必须包含至少一个字母、数字或特殊字符。匹配邮箱域名：必须包含至少一个字符（任何字符）表示字符小写大写的a-z和数字0-9以及下划线。表示abc在一个字符串的结尾，即不匹配。扩展前一个字符m至n次（含m和n次）前一个字符的0次或者无限次的扩展。前一个字符的1次或者无限次的扩展。字符集，对单个字符给出取值范围。在一个字符串的开头，即不匹配。由26个字母和数字组成的字符串。前一个字符的0次或者1次扩展。由26个字母组成的字符串。组成单词的字符，等价于。分组标记内部只能使用。
Linux 正则表达式 扩展正则表达式 gawk
打工人的学习记录！
05-20 515
正则表达式是我们所定义的模式模板（pattern template），Linux工具用它来过滤文本。Linux工具（比如sed编辑器或gawk程序）能够在处理数据时，使用正则表达式对数据进行模式匹配。如果数据匹配模式，会被接受并进一步处理；如不匹配模式，则会被滤掉。
Python字符串及正则表达式
云想衣裳花想容，春风拂槛露华浓
05-23 208
Linux shell 正则表达式高效使用
“Struggle”的博客
05-22 799
正则表达式是Linux命令行中强大的文本处理工具，能够极大提高搜索和匹配效率。下面为新手提供一个简单教程，介绍如何在`grep`和`find`命令中使用正则表达式。 使用建议：**使用`grep`时要加`-E`选项**使其支持扩展正则表达式，配合`find`和`xargs`得到更精确的匹配结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙克旭​‌​

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值