第一部分 Shell基础编程——第五章 文本过滤

最新推荐文章于 2022-01-30 21:45:01 发布
最新推荐文章于 2022-01-30 21:45:01 发布
阅读量3.4k 收藏 1
点赞数 1
分类专栏： Linux Linux Shell Programming Linux学习之路 文章标签： 第一部分 Shell基础编程 第五章 文本过滤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justdb/article/details/8810755
版权

笔记

#文本过滤
#正则表达式
#基本元字符及其含义
#使用句点匹配单字符
#行首以^匹配字符串或字符序列
#行尾以$匹配字符串或字符
#用*匹配单字符或其重复序列
#用\（反斜杠）屏蔽一个特殊字符
#用[]匹配一个范围或集合
#用\{\}匹配模式结构出现的次数

#find命令
#locate亦可查找文件
#locate
#查看find帮助信息
man find
#正则表达式需要双引号引出
#没写路径默认当前路径

#找出txt文档并打印
#[root@localhost shell]# find -name "*.txt" -print  
./0410/list.txt
./0410/names.txt
./0321/enerco/1.txt
./0321/enerco/2.txt
./0321/enerco/3.txt
./0321/enerco/4.txt
./0321/myfile.txt
./0321/myfile_dort.txt
./0323/myfile.txt
./0330/mylogfile.txt
./0330/dos.txt
./0330/ls.txt
./0330/partation.txt
./0330/name.txt
./0330/err_message.txt
./0330/term.txt
./0330/account_new.txt
./0330/standard.txt
./other/1.txt
./other/2.txt
./other/3.txt
./other/4.txt

#和上条命令等效
[root@localhost shell]# find ./-name "*.txt" –print

#在当前目录下查找（包括子目录）包含大写字母的文件并打印
[root@localhost shell]# find ./ -name "[A-Z]*" –print

#查找权限为755的文件并打印
[root@localhost shell]# find . -perm 755 -print

#验证权限是否为755
[root@localhost shell]# ls -l ./0330/file_desc
-rwxr-xr-x    1 root     root          100 Mar 30 20:08 ./0330/file_desc

#在当前目录查找属主为root的文件并打印
[root@localhost shell]# find `pwd` -user root –print
#验证属主是否为root
[root@localhost shell]# ls -l /home/wgb/shell/0410/whilereadline
-rwxr-xr-x    1 root     root           69 Apr 10 22:24 /home/wgb/shell/0410/whilereadline


#查看属主不在etc/passwd文件里的文件并打印
[root@localhost shell]# find `pwd` -nouser –print
#查找文件系统下所有属主不在etc/passwd文件里的文件并打印
[root@localhost shell]# find / -nouser -print>nouers.out

#后台执行上诉命令
[root@localhost shell]# nohup find / -nouser -print>nouers.out &
[1] 4752

#查找所属组名为root的文件并打印
[root@localhost shell]# find ./ -group root –print
#验证
[root@localhost shell]# ls -l ./other/1.txt
-rw-r--r--    1 root     root           93 Dec  7 16:23 ./other/1.txt

#查找没有组的文件并打印
[root@localhost shell]# find ./ -nogroup –print

#查找改变时间在5天以内的文件并打印
[root@localhost shell]# find /var -mtime -5 –print

#验证
[root@localhost shell]# ls -l 
/var/spool/slrnpull/news/clari/world/europe/iberia/.overview
-rw-r--r--    1 news     news            0 Apr 13 18:11 /var/spool/slrnpull/news/clari/world/europe/iberia/.overview

#查看当前日期，以验证
[root@localhost shell]# date
Sat Apr 13 18:48:07 CST 2013

#查找改变时间在3天以前的文件并打印
[root@localhost shell]# find /var -mtime +3 –print
#验证
[root@localhost shell]# ls -l /var/www/error/contact.html.var
-rw-r--r--    1 root     root         1220 Jul 16  2002 /var/www/error/contact.html.var

#查找改变时间在1天以内的文件
[root@localhost shell]# find /var -mtime -1 –print

#查看file1的详细信息
[root@localhost shell]# ls -l ./0331/test/file1
-rw-rw-r--    1 root     root            0 Mar 31 11:36 ./0331/test/file1
#查看myfile的详细信息
[root@localhost shell]# ls -l ./0410/myfile
-rw-r--r--    1 root     root           18 Apr 10 21:51 ./0410/myfile
#查找比file1新比myfile旧的文件并打印
[root@localhost shell]# find `pwd` -newer "./0331/test/file1" ! -newer ./0410/"myfile" –print
#验证
[root@localhost shell]# ls -l /home/wgb/shell/0410/forlist4
-rwxr-xr-x    1 root     root           67 Apr 10 21:49 /home/wgb/shell/0410/forlist4

#查找etc目录下为目录的文件夹并打印
[root@localhost shell]# find /etc -type d –print

#查找etc目录下类型为连接的文件并打印
[root@localhost shell]# find /etc -type l –print

#查找大于1M的文件，c表示字节并打印
[root@localhost shell]# find . -size +1000000c –print

#大于10个块的文件并打印
[root@localhost shell]# find . -size +10 –print
#验证
[root@localhost shell]# ls -l ./0330/ls.txt
-rw-r--r--    1 root     root         6021 Mar 30 19:12 ./0330/ls.txt

#先匹配所有的文件，再在子目录中查找
[root@localhost shell]# find / -name "CON.FILE" -depth –print

#注意空格，查找etc目录下为目录的文件夹并列出详细信息
[root@localhost shell]# find . -type f -exec ls -l {} \;

#删除5天前的log文件
[root@localhost shell]# find . -name "*.log" -mtime +5 -ok rm{} \;
[root@localhost shell]# ls -l /var/log

#xargs：只有一个进程减少系统消耗

#查找权限为777的文件并打印
[root@localhost shell]# find ./ -perm -7 -print
./0321/direactory1
./0321/enercolns
[root@localhost shell]# ls -l ./0321/enercolns
lrwxrwxrwx    1 root     root           13 Mar 21 16:15 ./0321/enercolns -> enerco.tar.gz

#将查找结果改为775
[root@localhost shell]# find ./ -perm -7 -print | xargs chmod o-w

#查看文件类型
[root@localhost shell]# find ./ -type f -print | xargs file


#grep 模式查找

#在当前目录下所有txt文档中查找包含jenny的文件并打印
[root@localhost shell]# grep "jenny" *.txt

#在当前目录下所有文件中查找包含sort it的文件并打印
[root@localhost shell]# grep "sort it" *

#在myfile文件中统计2004出现的次数
[root@localhost shell]# grep -c "2004" myfile
2

#在myfile文件中统计2004出现的次数并打印行号
[root@localhost shell]# grep -n "2004" myfile

#在myfile文件查找JUl并打印（不区分大小写）
[root@localhost 0415]# grep -i "JUl" myfile

#过滤，在myfile文件查找不包含2004:22的内容
[root@localhost 0415]# grep -v "2004:22" myfile

#在myfile文件查找在2004:22:50--22::22:59时间段的内容
[root@localhost 0415]# grep  "2004:22:5[0-9]" myfile

#在myfile文件查找不是210开头的内容
[root@localhost 0415]# grep  "^[^210]" myfile

#在myfile文件查找以H开头，P结尾的内容
[root@localhost 0415]# grep  "H*P" myfile | more

#在myfile文件查找匹配正则表达式[5-8][6-9][0-3]的内容
[root@localhost 0415]# grep  "[5-8][6-9][0-3]" myfile|more

#在myfile文件查找匹配正则表达式4\{2\}的内容
[root@localhost 0415]# grep "4\{2\}" myfile
443

#在myfile文件查找匹配正则表达式4\{2,4\}的内容
[root@localhost 0415]# grep "4\{2,4\}" myfile

#在myfile文件查找所有空行
[root@localhost 0415]# grep "^$" myfile

#在myfile文件查找包含问号的内容
[root@localhost 0415]# grep "\?" myfile

[root@localhost 0415]# ls -l>lsout.txt
#在lsout.txt文件中查找为目录的文件
[root@localhost 0415]# grep "^d" lsout.txt

##在lsout.txt文件中查找不是目录的文件
[root@localhost 0415]# grep "^[^d]" lsout.txt

##在lsout.txt文件中查找不是目录、连接、管道的文件
[root@localhost 0415]# grep "^[^dlp]" lsout.txt

##在myfile文件中查找500-599的数字
[root@localhost 0415]# grep "5[[:digit:]][[:digit:]]" myfile

#在myfile文件中查找IP地址，只能是3位数的
[root@localhost 0415]# grep "[0-9]\{3\}\.[[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}" myfile

#在myfile文件中查找所有IP地址
[root@localhost 0415]# grep "[0-9]\{1,3\}\.[[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}" myfile

#在myfile文件中查找包含php的内容
[root@localhost 0415]# grep "php" myfile 

#在myfile文件中统计配php文件的个数
[root@localhost 0415]# grep "php" myfile| wc -l
      0

#在myfile文件中统计htm/call_info.php出现的次数
[root@localhost 0415]# grep "htm/call_info.php" myfile| wc –l


#AWK 工具

#打印score.txt第一列的内容并将此写入score.out中
[root@localhost 0415]# awk '{print $0}' score.txt |tee score.out
89
88
99
100
99
89
99

#将默认的域分隔符（空格）改为分号，功能同上
[root@localhost 0415]# awk -F : '{print $0}' score.txt |tee score.out

#打印score.txt第一列、第四列的内容并将此写入score.out中，并以制表符作为间隔，但是执行出错
[root@localhost 0415]# awk -F : '{print $1\t$4}' score.txt |tee score.out
awk: cmd. line:1: {print $1\t$4}
awk: cmd. line:1:          ^ backslash not last character on line

#\t是字符，用双引号括起来，功能同上
[root@localhost 0415]# awk -F : '{print $1"\t"$4}' score.txt |tee score.out

#分页显示，功能同上
[root@localhost 0415]# awk -F : '{print $1"\t"$4}' score.txt |more

#域分隔符可以任意
[root@localhost 0415]# awk -F +0800 '{print $1}' score.txt|more

#BEGIN和END的使用
[root@localhost 0415]# awk 'BEGIN {print "Name Maths\n----
----"} {print $1"\t"$4} END { print "end-of-report"}' score.txt

#功能类似上条加上分页
[root@localhost 0415]# awk 'BEGIN {print "IP Date\n--------"} {print $1"\t"$4} END { print "end-of-report"}' score.txt |more

#致歉：第五章文本过滤1:18:34以后出错，不能播放，所以后面的内容暂时没有。


 

附图

 

 

 

 

 

 

 

 

 

 

 

katoonSina  CSDN
@Wentasy 博文仅供参考，欢迎大家来访。如有错误之处，希望批评指正。原创博文如需转载请注明出处，谢谢 :) [CSDN博客]
Wentasy
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高级shell编程 第二部分文本过 滤（共5部分）
11-05
本文将深入探讨"高级shell编程"的第二部分——文本过滤，包括正则表达式、grep家族、AWK介绍、sed用法、文件合并与分割以及tr工具的使用。 首先，让我们来理解第7章——正则表达式介绍。正则表达式是一种强大的文本...
Shell编程（四）文本过滤
coolwriter的博客
05-07 2419
文本过滤 简介：正则表达式、find介绍、grep介绍、awk介绍、sed介绍、合并与分割（sort、uniq、join、cut、paste、split）。 正则表达式 概念：一种用来描述文本模式的特殊语法 由普通字符（例如：字符a到z），以及特殊字符（元字符，如/ * ？等）组成匹配的字符串 文本过滤工具在某种模式之下，都支持正则表达式。 基本元字符集及其含义 练习 ...
awk&sed精要
荣耀之路
05-11 3213
[root@centos-fuwenchao ~]# awk /root/ /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@centos-fuwenchao ~]# awk -F: /root/print $1 /etc/passwd awk: /root/
ADB logcat 过滤方法(抓取日志)
热门推荐
Jingle的专栏
10-21 9万+
1. Log信息级别 Log.v - VERBOSE  : 黑色 Log.d - DEBUG  : 蓝色 Log.i- INFO   : 绿色 Log.w- WARN   : 橙色 Log.e- ERROR   : 红色 从上而下级别逐次增加 2. 过滤:指定标签,指定级别 adb logcat [TAG:LEVEL ] [T
Shell文本过滤
edisonkun的专栏
01-14 827
1.正则表达式 （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。 （2）基本元字符集及其含义 ^ ：只匹配行首。   如^a 匹配以a开头的行abc,a2e,a12,aaa,…… $ ：只匹配行尾。   如^a 匹配以a结尾的行bca,12a,aaa,……. * ：匹配0个或多个此单字符。 如(a)* 匹配 空，
2021.4.7工作问题记录————awk: ^ backslash not last character on line
CQ的学习笔记
04-07 2740
工作问题记录————awk: ^ backslash not last character on line 在测试服务器时在终端查找服务端的进程号，使用指令： ps -ef|grep -v grep|grep "bash"| awk '{printf(\"%d|%s\\n\",$2,$8)}' 显示错误： 解决： 该指令是从服务端检测进程重复代码中截取的，在终端直接运行时不需要转义符。 指令： ps -ef|grep -v grep|grep "bash"| awk '{printf("%d|%s\n"
LINUX与UNIX SHELL编程指南——1
07-23
第一部分：Shell基础 这部分首先介绍Shell的基本概念，包括什么是Shell，它的作用以及在操作系统中的地位。它会解释不同类型的Shell，如Bash（Bourne-Again SHell）、C Shell和Korn Shell等，并对比它们之间的差异。...
LINUX与UNIX SHELL编程指南
05-25
第一部分：SHELL编程基础 这部分主要介绍了shell的基础概念，包括shell的类型（如Bash、Csh、Ksh等）、shell环境变量的设置与使用、命令行参数的传递以及shell脚本的基本结构。通过学习，读者可以掌握编写简单shell...
实战Shell脚本—sed,awk使用
03-17
例如，`awk -F ',' '{print $1}' file.csv`会打印`file.csv`中所有行的第一列，其中`-F ','`设定了字段分隔符为逗号。 结合这两个工具，开发者可以在Shell脚本中实现更复杂的数据处理任务。例如，可以先用`sed`...
linux脚本awk,如何在awk脚本中使用shell变量？
weixin_35401836的博客
04-30 327
获取shell变量awk可以通过几种方式完成。有些人比其他人好。这应该涵盖大部分内容。如果您有评论，请在下面留言。使用-v(最好的方式，最便携)使用-v选项:( PS后使用空格-v或不太便携。例如，awk -v var=不是awk -vvar=)variable="lineone\nlinetwo"awk-vvar="$variable"'BEGIN{printvar}'line...
Shell脚本：文本文件处理工具（字符截取和过滤）
兔子乖乖
01-30 2751
5、文本文件处理工具 grep行截取(重点) 行过滤工具，用于根据关键字进行行过滤。 语法：grep [选项] '关键字' 文件名，例如： [root@localhost ~]# grep root /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin 常用的选项： grep -n root /etc/passwd #-n显示行号 grep -ni root /etc/pas
sed shell 删除 中文
12-18 4312
#!/bin/bash #Program: #   删除所有中文字符 #Usage: #   放入歌词目录，双击 #History: #2012-12-18 11:21:56   Artwalk     First release   curpath=$(cd "$(dirname "$0")";pwd) echo $curpath
SHELL删除半个汉字-GB2312
truno的专栏
03-21 781
2年前没用SHELL用C解决，目前AWK搞定，解决了个心病  #!/bin/sh #GB2312编码 #Author:xiamin  #20140320 #去除半个汉字 tmpLANG=$LANG  LANG=C  #cat a.txt awk 'BEGIN{   while((getline str 0 )
linux学习之shell脚本 ------- 文本过滤
jesson20121020的专栏
02-02 2048
[本文是自己学习所做笔记，欢迎转载，但请注明出处：http://blog.csdn.net/jesson20121020] 今天来看一下shell关于文字过滤的知识，其实最主要的就是正则表达式以及关于文本的一常见的命令。 正则表达式： 一种用来描述文本模式的特殊语法。 由普通字符（例如字符a到z）以及特殊字符（称为元字符，如／、＊、？等）组成。 基本元字符集及其含义：
linux shell 字符串处理过滤方法
gpio_01的博客
03-31 4932
1.grep 文本过滤命令 grep中的正则表达式 ^westos #以westos开头 westos$ #以westos结尾 'w....s' 'w.....' '.....s' grep -E = egrep 应用： cp /etc/passwd /mnt cd /mnt vim /mnt/passwd 添加（为后边的实验效果做准备）： test:test:root ROOT:test:test test:root:test grep ^root pas.
shell 批量提取文本中字符
sinat_41870320的博客
11-19 1016
shell 批量提取文本中字符 利用awk提取文本中的字符串，亲测有效 1.创建txt文件的方法 （1）利用vim编辑 vi系列编辑器有两种分别是vi 和vim ，建议使用vim ，vim编辑器更方便 vim test.txt 同时按 esc+I进行编辑； 输入完成以后先按 esc 再按shift + : ,输入wq进行保存； 在这里插入图片描述](https://img-blog.csdni...
shell函数，查找文件中的中文字符串，并对整行进行替换、新增和删除。
u013155359的博客
06-25 4829
####公共函数-替换文件中字符串,替换整行字符串 ####函数参数样例：file_match "/etc/httpd/conf/httpd.conf" "KeepAlive " "KeepAlive on" ####参数1：文件路径和文件名称 ####参数2：需要匹配的关键字 ####参数3：替换的整行内容 ####备注：若文件中有多处被匹配到，则不进行替换 function file_mat...
【Shell】shell字符串过滤
林多
05-31 6183
Shell字符串过滤 服务器做CppCheck时，需要过滤一些Check的文件。比如MakeFile、证书文件等等。 方式很多，这里采用了字符串过滤，将非检测的文件过滤掉。 过滤check文件脚本 # filter filter_make_file="Makefile" filter_pem_file=".pem" count=-1 # files_array变量包含了所有要检测的文件（过滤...
探索嵌入式Linux：第5章，基础编程与应用系统开发
在第5章《嵌入式Linux程序设计基础》中，主要讲解了Linux操作系统的基础知识和应用。首先，这一章节对Linux操作系统进行了概览，强调了其作为一款多用户、多线程、多进程的优秀操作系统，拥有良好的兼容性和可移植性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值