shell编程之文本三剑客——grep

最新推荐文章于 2024-06-14 11:01:38 发布
最新推荐文章于 2024-06-14 11:01:38 发布
阅读量47 收藏
点赞数
文章标签： 前端 javascript 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64063925/article/details/133362151
版权

1.grep介绍

grep 过滤  通用的正则表达式分析程序
   grep、egrep、fgrep
   做匹配来过滤的
grep [options] pattern [files]
或
grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
pattern - 表示要查找的字符串或正则表达式。
files - 表示要查找的文件名，可以同时查找多个文件，如果省略 files 参数，则默认从标准输入中读取数据。

用途：在文件中查找并显示包含指定字符串的行
格式：grep  [选项]...  模式  目标文件
-i：查找时忽略大小写
-v：反转查找，输出与模式不相符的行 
-n：显示符合模式要求的行号
-r：递归搜索所有文件
-o：只显示匹配的内容
-E： 支持更多的元字符（支持扩展正则）
-A: 找到匹配行以及后几行
-B：输出匹配行以及前几行

如果觉得这些命令少了， 可以man grep看其他的选项

 

2.grep选项的运用

# -i：查找时忽略大小写
# 接-i选项会把每行有port全查出来忽略大小写， 单词里面有port的也会查
[root@test ~]# grep -i "port"   /etc/ssh/sshd_config 
# If you want to change the port on a SELinux system, you have to tell
# semanage port -a -t ssh_port_t -p tcp #PORTNUMBER
#Port 22
# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several
#GatewayPorts no

# -v：反转查找，输出与模式不相符的行 
# 这里就是把没有d字母的行全查找出来
[root@test shell-test]# cat  a.txt 
aa bb cc
a2 b2 c2 d2
a3 b3 c3
[root@test shell-test]# grep -v "d" a.txt
aa bb cc
a3 b3 c3


# -n：显示符合模式要求的行号
# 可以多选项操作
[root@test shell-test]# grep -nv "d" a.txt
1:aa bb cc
3:a3 b3 c3

# -r：递归搜索所有文件
[root@test test_dir]# cat test.txt 
test

test.py
[root@test test_dir]# echo "test66" >>test2.txt 
[root@test test_dir]# echo "test555" >>test2.txt 
[root@test test_dir]# grep -r  "test" .    # .是当前文件
./test.txt:test
./test.txt:test.py
./test2.txt:test66
./test2.txt:test555

# -o：只显示匹配的内容
[root@test test_dir]# grep -or  "test" .
./test.txt:test
./test.txt:test
./test2.txt:test
./test2.txt:test

# -E： 支持更多的元字符（支持扩展正则） 用egerp 一样的效果 
# 查找以aa开头的行
[root@test shell-test]# grep -E "^aa" a.txt 
aa bb cc
[root@test shell-test]# egrep "^aa" a.txt 
aa bb cc

# -A: 找到匹配行以及后几行
# -B：输出匹配行以及前几行
[root@test shell-test]# egrep -A 2 "^aa" a.txt 
aa bb cc
a2 b2 c2 d2
a3 b3 c3

[root@test shell-test]# egrep -B 2 "^a3" a.txt 
aa bb cc
a2 b2 c2 d2
a3 b3 c3

 

3.简单正则

#  ^aa  以aa开头的行
#  aa$  表示以aa结尾的行
# [] 表示一个字符集
  [a-z] 从a-z中取一个
  [^a-z] 不取a-z的字符
  ^[^a-zA-Z0-9_]  显示不以字母、数字、下划线开头的行
  -v ^[a-zA-Z0-9_]  

# 通配符
  * 代表匹配前一个项任意次  0-n
  ？ 代表匹配前一个项0次或者1次 0,1
  + 代表匹配前一个项一次到多次  1-n
  . 占位符 除\n之外的任意字符
  {n,m} 匹配前一项n到m次


# \b匹配单词的边界  \b.*\b
# \B不匹配单词边界
# \w 匹配单词字符(a-z, A-Z, 0-9， 中文)
# \W 不匹配单词字符
# \s 匹配空白字符（空格，tab)
# \S 匹配非空白字符

4.练习

4.1.题目 

#1、复制/etc/passwd到当前目录下，然后对passwd进行操作，提前新建liu姓的用户
#2、查找出当前passwd文件中以ftp或者mail开头的行，输出到屏幕
#3、查找出当前passwd文件中不以r、m、f开头的行
#4、查找出当前passwd中以bash结尾的行
#5、查找出/etc/login.defs文件中的有效行（不显示空行和注释行，以#号开头的行）
#6、查找出/var/log/messages 文档中有15个字母的单词
#7、查找出/etc/passwd文件里用户名包含liu同时使用bash的用户
#8、查找出/etc/ssh/sshd_config 文件里包含连续2个字符的行
#9、查找出包含特殊字符的行
#10、查找出不包含数字的行
#11、查找出/var/log/secure里的ip地址

 4.2 1-5题

[root@test shell-test]# cp /etc/passwd  .
cp：是否覆盖"./passwd"？ y

#2、查找出当前passwd文件中以ftp或者mail开头的行，输出到屏幕
[root@test shell-test]# grep  -E  "^ftp|^mail"  passwd 
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin

# 3、查找出当前passwd文件中不以r、m、f开头的行
[root@test shell-test]# egrep  -v "^r|^m|^f"  passwd 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

[root@test shell-test]# grep -E   "^[^rmf]"  passwd 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

# 4、查找出当前passwd中以bash结尾的行
[root@test shell-test]# egrep "bash$" passwd 
root:x:0:0:root:/root:/bin/bash
gala:x:1000:1000::/home/gala:/bin/bash
liuliu:x:1001:1001::/home/liuliu:/bin/bash
haoliu:x:1002:1002::/home/haoliu:/bin/bash
sc:x:1003:1003:liliu:/home/sc:/bin/bash

# 5、查找出/etc/login.defs文件中的有效行（不显示空行和注释行，以#号开头的行）
[root@test shell-test]# grep -vE "^#|^$" /etc/login.defs 
MAIL_DIR	/var/spool/mail
PASS_MAX_DAYS	99999
PASS_MIN_DAYS	0
PASS_MIN_LEN	5
PASS_WARN_AGE	7
UID_MIN                  1000
UID_MAX                 60000
SYS_UID_MIN               201
SYS_UID_MAX               999
GID_MIN                  1000
GID_MAX                 60000
SYS_GID_MIN               201
SYS_GID_MAX               999
CREATE_HOME	yes
UMASK           077
USERGROUPS_ENAB yes
ENCRYPT_METHOD SHA512

[root@test shell-test]# egrep "^[^#$]" /etc/login.defs 
MAIL_DIR	/var/spool/mail
PASS_MAX_DAYS	99999
PASS_MIN_DAYS	0
PASS_MIN_LEN	5
PASS_WARN_AGE	7
UID_MIN                  1000
UID_MAX                 60000
SYS_UID_MIN               201
SYS_UID_MAX               999
GID_MIN                  1000
GID_MAX                 60000
SYS_GID_MIN               201
SYS_GID_MAX               999
CREATE_HOME	yes
UMASK           077
USERGROUPS_ENAB yes
ENCRYPT_METHOD SHA512

 4.3 6-10题

# 6.查找出/var/log/messages 文档中有15个字母的单词
[root@test shell-test]# egrep -i "\b[a-z]{15}\b" /var/log/messages
Sep 27 11:30:18 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 14:22:52 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 15:12:01 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 15:23:11 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:14:41 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:16:52 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:36:43 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 18:59:15 test kernel: Booting paravirtualized kernel on VMware hypervisor

# [a-Z]  == [a-zA-Z] linux里面是以字典排序，而python是ascii码,所以python不能用[a-Z].
# 因为不相邻
[root@test shell-test]# grep -E "\b[a-Z]{15}\b" /var/log/messages
Sep 27 11:30:18 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 14:22:52 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 15:12:01 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 15:23:11 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:14:41 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:16:52 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 16:36:43 test kernel: Booting paravirtualized kernel on VMware hypervisor
Sep 27 18:59:15 test kernel: Booting paravirtualized kernel on VMware hypervisor

# 7、查找出/etc/passwd文件里用户名包含liu同时使用bash的用户
# 简单的正则不需要接-E也能用
[root@test shell-test]# egrep "^[^:]*liu[^:]*:" passwd |grep  bash$ 
liuliu:x:1001:1001::/home/liuliu:/bin/bash
haoliu:x:1002:1002::/home/haoliu:/bin/bash
haoliua:x:1004:1004::/home/haoliua:/bin/bash

[root@test shell-test]# egrep "^[0-Z_]*liu[0-Z_]*:" passwd |grep  bash$ 
liuliu:x:1001:1001::/home/liuliu:/bin/bash
haoliu:x:1002:1002::/home/haoliu:/bin/bash
haoliua:x:1004:1004::/home/haoliua:/bin/bash


# 8、查找出/etc/ssh/sshd_config 文件里包含连续2个字符的行
[root@test shell-test]# grep -E "(.)\1" /etc/ssh/sshd_config 


# 9.查找出包含特殊字符的行
[root@test shell-test]# egrep  "[^0-Z]" /etc/ssh/sshd_config 
#Match User anoncvs
#	X11Forwarding no
#	AllowTcpForwarding no
#	PermitTTY no
#	ForceCommand cvs server


# 10. 查找出不包含数字的行
[root@test shell-test]# cat a.txt 
aa bb cc
a2 b2 c2 d2
a3 b3 c3

[root@test shell-test]# egrep -v "[0-9]"  a.txt 
aa bb cc

4.4.11题

# 查找出/var/log/secure里的ip地址
用列举法一个个列出来，注意.占位符 除\n之外的任意字符所以要\.来表示
"((((25[0-5])|(2[0-4][0-9])|(1[0-9][0-9])|([1-9][0-9])|([0-9]))\.){3})((25[0-5])|(2[0-4][0-9])|(1[0-9][0-9])|([1-9][0-9])|([0-9]))"
[root@test shell-test]# grep -oE "((((25[0-5])|(2[0-4][0-9])|(1[0-9][0-9])|([1-9][0-9])|([0-9]))\.){3})((25[0-5])|(2[0-4][0-9])|(1[0-9][0-9])|([1-9][0-9])|([0-9]))" /var/log/secure
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1
0.0.0.0
192.168.249.1

 

 

 

 

 

 

 

 

 

 

 

gala2002
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
shell文本三剑客——1.grep
qq_27172205的博客
07-15 210
grep1.介绍1.1 grep格式查看能被su切换的用户名称类型编写脚本文件loginuser 1.介绍 grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 grep -E = egrep 1.1 grep格式 grep 匹配条件 处理文件 grep “root” passwd #过滤root关键字 grep “^r
Shell编程三剑客之Sed
m0_47219942的博客
07-27 462
Shell编程三剑客之Sed一： 文本处理器1.1：sed工具概述1.2：sed的工作流程1.2.1：读取1.2.2：执行1.2.3：显示1.3：sed命令常见方法1.3.1：常见的sed命令选项1.3.2：常见的操作1.4：sed用法示例1.4.1：输出符合条件的文本（p 表示正常输出）1.4.2：sed 命令与正则表达式结合使用1.5：删除符合条件的文本（d）1.6：替换符合条件的文本1.7：迁移符合条件的文本1.8：使用脚本编辑文件1.9：sed 直接操作文件示例二：sed命令总结 一： 文本处理器
Shell脚本之文本处理三剑客——grep（含正则表达式详解）
ZHUZIH6的博客
02-05 2666
简要介绍grep命令的常用选项，详细介绍了正则表达式内容
Shell中grep用法总结
高空的博客
04-23 313
当你需要在文本数据中搜索特定模式或者字符串时，grep是一个非常有用的工具。它在Unix和类Unix系统上广泛使用，用于从文件或者标准输入中过滤匹配某个模式的行，并将结果输出到标准输出。
【Shell】Shell编程之文本处理器——awk
Mo_nor的博客
08-01 220
awk的分隔符：默认为 "空格" 或 "tab键"；有多个空格时，会自动压缩成一个进行判断。主要使用的是改和查；查使用grep，正则表达式使用grep -E更好。awk是文本三剑客中最强大的文本工具；sed可以对文本内容进行增删改查。操作完之后可以根据指定命令来取列。
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外...
文本三剑客之grep及正则表达式 -.pdf
07-28
1. Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来（匹配到的标红）。 grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有...
LinuxShell编程之常用技巧
02-26
本文集中介绍了bash编程中部分高级编程方法和技巧。通过学习本文内容，可以帮你解决以下问题：1、bash可以网络编程么？2、.(){.|.&};.据说执行这些符号可以死机，那么它们是啥意思？3、你是什么保证crond中的任务不...
[Vue-常见错误]浏览器显示Uncaught runtime errors
一个喜欢什么都研究一下的小小后端程序员
06-09 406
在vue.config.js中配置关闭Uncaught runtime errors显示。
JS中一个dom元素能绑定多少事件
ggq53219的博客
06-10 570
在JavaScript中，一个DOM元素可以绑定的事件数量并没有明确的限制，这主要取决于浏览器的实现和内存限制。然而，在实际应用中，为同一个DOM元素绑定过多的事件监听器可能会导致性能问题，尤其是在事件处理函数执行复杂操作的情况下。总之，虽然JavaScript中DOM元素可以绑定的事件数量没有明确的限制，但在实际应用中应注意避免过度绑定和优化事件处理函数，以确保良好的性能和用户体验。
Web前端网站设计案例：深入剖析创意与技术的完美融合
liyrbtqe_66w的博客
06-12 296
在性能优化方面，设计师通过压缩代码、减少HTTP请求、使用CDN等技术手段，提升了网站的加载速度和响应性能，为用户提供了更加流畅的访问体验。综上所述，本Web前端网站设计案例通过视觉设计、用户体验、技术实现、性能优化、创意表达、响应式设计和跨平台兼容等方面的综合考量，成功打造了一款既美观又实用的网站。这个案例充分展示了Web前端设计的魅力和潜力，为未来的网站设计提供了有益的借鉴和启示。设计师通过独特的视觉元素和创意构思，将品牌理念和文化内涵融入其中，使得整个网站在传达信息的同时，也展现出品牌的独特魅力。
HTML入门教程：深度解析HTML，开启你的前端技术之旅
最新发布
zhangwenok的博客
06-14 1285
HTML（HyperText Markup Language，超文本标记语言）是前端开发的基础，它负责构建网页的结构和内容。作为前端技术栈的基石，HTML的掌握程度直接影响到网页的开发效率和用户体验。本教程将带你从零开始，逐步深入了解HTML的各个方面，帮助你打下坚实的前端技术基础。HTML是一种用于创建网页的标准标记语言，它通过一系列的元素（elements）和标签（tags）来定义网页的结构和内容。HTML文档由一系列的元素组成，这些元素通过标签来标识。
Harmony 开发的艺术 面向对象
不懂先生的博客
06-13 1078
然后你可以创建多个子类，如“圆形”、“矩形”和“三角形”，它们都继承自“形状”类并实现了自己的“绘制”方法。尽管每个对象的类型可能不同（圆形、矩形、三角形等），但由于它们都继承了“形状”类并实现了相同的“绘制”方法，因此你可以通过父类引用来统一调用它们的方法。然后你可以创建一个“狗”类，它继承自“动物”类，并添加或覆盖一些特定的属性和方法（如“叫”和“摇尾巴”）。所以面向对象的三大特征（封装、继承、多态）在java语言中很容易实现的设计，搬到早期的JavaScript中，就变噩梦一样的存在。
Web前端设计大赛：创意与技术的碰撞
huejiaqwerty888的博客
06-12 379
在这场竞赛中，参赛者们不仅需要展现出独特的创意，还需要运用精湛的技术将创意转化为实际作品。本文将从四个方面、五个方面、六个方面和七个方面，深入剖析Web前端设计大赛的魅力和挑战。交互设计是Web前端设计的核心环节。参赛者需要关注页面的加载速度、响应速度以及操作的便捷性等方面，确保用户在使用过程中能够获得良好的体验。参赛者需要敢于突破传统的设计理念和技术限制，尝试新的设计手法和技术应用。参赛者需要在创意构思、视觉呈现、交互设计、用户体验、技术实现、性能优化以及创新性和可实践性等方面进行全面考虑和精心打造。
web前端拖拽工具：探索其复杂性、困惑度与爆发度
liyrbtqe_66w的博客
06-12 301
综上所述，Web前端拖拽工具虽然带来了便捷和效率，但同时也伴随着一定的复杂性、困惑度和挑战。对于开发者来说，深入了解拖拽工具的技术原理和应用场景，掌握其使用方法和优化技巧，是提升开发效率和降低项目风险的关键所在。然而，在实际项目中，由于项目需求、技术栈以及团队协作等多种因素的影响，开发者可能会遇到各种复杂的问题和挑战。然而，随着功能的增多和复杂化，开发者在使用拖拽工具时可能会遇到一些困惑和挑战。同时，随着Web组件化、模块化等趋势的普及，拖拽工具也可能会朝着更加标准化、可复用的方向发展。
SortTable.js + vxe-table 实现多条批量排序
小先生编程
06-12 626
环境: 功能: 实现表格拖动排序，支持单条排序，多条排序 实现思路: 官网只有单条排序的例子，网上也都是简单的使用，想要实现多条排序，就要结合着表格的复选框功能，在对其勾选的行统一计算！ 最终效果: 实现代码
vue基础P7-17
weixin_43883584的博客
06-09 597
{{xxxx}}用在标签体中，也就是<>{{xxx}}</>xxx是js表达式，有返回值，如num+1、Date.now()。不是js代码。
shell的文本三剑客
08-24
Shell 的文本三剑客是指 grep、sed 和 awk。 1. grep (Global Regular Expression Print) 是一个强大的文本搜索工具，它可以搜索文件中符合指定模式的行，并将其打印出来。grep 支持正则表达式，可以用来快速过滤和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值