linux-grep

 

1. grep
    1.1 grep的与或非举例
    1.2 其他常用例子
    1.3 更多选项
2 正则表达式
    2.1 概念
    2.2 大部分正则表达式的形式都有如下的结构:
    2.3 精确的语法可能因不同的工具或程序而异。
3. 实例
    3.1 查找html文件里所有高度参数
    3.2 删除表格内高度参数
    3.3 写入文件

1. grep

grep – 在文件中搜索模式,打印模式匹配成功的行,可以搜索一个或多个文件。
这里的模式匹配与文本编辑器里的字段搜索,通配符模糊查找不同之处是使用正则表达式,是一套完整的模式表示规则。

1.1 grep的与或非举例

and
$ grep pci hwinfo.txt |grep devices

or -E
$ grep 'pci\|devices' hwinfo.txt
$ grep -E 'pci|devices' hwinfo.txt

非 -v
$ grep -v pci hwinfo.txt

1.2 其他常用例子

单词精确查找 -w
$ grep -w pci hwinfo.txt
仅查找独立的pci单词。即不包括ppci,pci1等前后有其他字母或数字,包含pci的词。

忽略大小写 -i
$ grep -i pci hwinfo.txt

统计行数 -c
$ grep -i pci hwinfo.txt | grep -vc pci-0000

输出包含行号 -n
$ grep -i pci hwinfo.txt | grep -vn pci-0000

打印包含字段的文件名 -l
$ grep -l pci hwinfo.txt s.json
hwinfo.txt

打印不包含字段的文件名 -L
$ grep -L pci hwinfo.txt s.json
s.json

1.3 更多选项

 匹配选择:Pattern selection and interpretation:模式选择和解释:
-E,--extended-regexpPATTERNS are extended regular expressions使用扩展正则表达式匹配。
-F,--fixed-stringsPATTERNS are strings使用固定字符串匹配。
-G,--basic-regexpPATTERNS are basic regular expressionsPATTERNS是基本的正则表达式 (默认)
-P,--perl-regexpPATTERNS are Perl regular expressionsPATTERNS是Perl正则表达式
 匹配控制:   
-e,--regexp=PATTERNSuse PATTERNS for matching使用PATTERNS进行匹配
-f,--file=FILEtake PATTERNS from FILE从文件中获取PATTERNS
-i,--ignore-caseignore case distinctions忽略案例区别. 忽略大小写
-w,--word-regexpmatch only whole words只匹配整个单词. 如果还指定了-x,则此选项无效。
-x,--line-regexpmatch only whole lines只匹配整条线
-v,--invert-matchselect non-matching lines选择不匹配的行
 一般输出控制: Output control: 
-c,--countprint only a count of selected lines per FILE仅打印每个FILE所选行的计数. 使用-v,计算不匹配的行。
 --color[=WHEN],use markers to highlight the matching strings;使用标记突出显示匹配的字符串;
 --colour[=WHEN]WHEN is 'always', 'never', or 'auto'什么时候是“永远”,“从不”或“自动”
-L,--files-without-matchprint only names of FILEs with no selected lines仅打印没有选定行的FILE名称
-l,--files-with-matchesprint only names of FILEs with selected lines仅打印具有选定行的FILE名称
-m,--max-count=NUMstop after NUM selected linesNUM选择行后停止
-o,--only-matchingshow only nonempty parts of lines that match仅显示匹配的非线性部分
-q,--quiet, --silentsuppress all normal output抑制所有正常输出
-s,--no-messagessuppress error messages抑制错误消息
 输出行前缀控制:   
-b,--byte-offsetprint the byte offset with output lines输出打印字节偏移量
-H,--with-filenameprint file name with output lines打印每个匹配的文件名。当有多个要搜索的文件时,这是默认设置。
-h,--no-filenamesuppress the file name prefix on output禁止输出上的文件名前缀。当只有一个文件(或仅标准输入)时,这是默认设置。
 --label=LABELuse LABEL as the standard input file name prefix使用LABEL作为标准输入文件名前缀
-n,--line-numberprint line number with output lines输出打印行号
-T,--initial-tabmake tabs line up (if needed)制作标签队列(如果需要). 初始选项卡
-Z,--nullprint 0 byte after FILE name在FILE名称后打印0字节。 输出零字节(ASCII NUL字符).
 上下文行控制: Context control: 
-A,--after-context=NUMprint NUM lines of trailing context打印NUM行尾随上下文
-B,--before-context=NUMprint NUM lines of leading context打印NUM行前导上下文
-C,--context=NUMprint NUM lines of output context打印NUM行输出上下文
-NUM same as --context=NUM与--context = NUM​​相同
 文件和目录选择:   
-a,--textequivalent to --binary-files=text相当于--binary-files = text; 像处理文本一样处理二进制文件;
 --binary-files=TYPEassume that binary files are TYPE;假设二进制文件是TYPE; TYPE is 'binary', 'text', or 'without-match'
-D,--devices=ACTIONhow to handle devices, FIFOs and sockets; ACTION is 'read' or 'skip'如何处理设备,FIFO和插座; ACTION is 'read' or 'skip'
-d,--directories=ACTIONhow to handle directories; ACTION is 'read', 'recurse', or 'skip'如何处理目录; ACTION is 'read', 'recurse'递归, or 'skip'
 --exclude=GLOBskip files and directories matching GLOB跳过与GLOB匹配的文件和目录
 --exclude-from=FILEskip files matching any file pattern from FILE跳过与FILE中的任何文件模式匹配的文件
 --exclude-dir=GLOBskip directories that match GLOB跳过与GLOB匹配的目录
 --include=GLOBsearch only files that match GLOB (a file pattern)仅搜索与GLOB匹配的文件(文件模式)
-I equivalent to --binary-files=without-match相当于--binary-files =不匹配; 处理二进制文件,就像它不包含匹配数据一样
-r,--recursivelike --directories=recurse只有符号链接在命令行上时,才能递归地读取每个目录下的所有文件。如果没有给出文件操作数,grep将搜索工作目录。这相当于-d recurse选项
-R,--dereference-recursivelikewise, but follow all symlinks递归地读取每个目录下的所有文件。跟随所有符号链接,与-r不同。
 其他选择: Miscellaneous: 
-V,--versiondisplay version information and exit显示版本信息并退出
 --helpdisplay this help text and exit显示此帮助文本并退出
 --line-bufferedflush output on every line在输出上使用行缓冲。这可能会导致性能下降。
-U,--binarydo not strip CR characters at EOL (MSDOS/Windows)不要在EOL(MSDOS/Windows)中删除CR字符。将文件视为二进制文件。
-z,--null-dataa data line ends in 0 byte, not newline将输入和输出数据视为行序列,每个行以零字节(ASCII NUL字符)而不是换行符

 

2 正则表达式

https://zh.wikipedia.org/wiki/正则表达式
https://en.wikipedia.org/wiki/Regular_expression

2.1 概念

正则表达式(英语:Regular Expression,在代码中常简写为regex、regexp或RE)(有时称为rational expression理性表达),又称正则表示式、正则表示法、规则表达式、常规表示法,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。

自20世纪80年代以来,用于编写正则表达式的不同语法已经存在,一个是POSIX标准,另一个是广泛使用的Perl语法。
许多程序设计语言都支持利用正则表达式进行字符串操作。例如,在Perl中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由Unix中的工具软件(例如sed,awk和grep)普及开的。正则表达式用于搜索引擎,搜索和替换文字处理器和文本编辑器的对话框,文本处理实用程序(如sed和AWK)以及词法分析。许多编程语言都提供内置或通过库的正则表达式功能。

正则表达式(通常称为模式)是用于指定特定目的所需的一组字符串的表达式。指定有限字符串集的简单方法是列出其元素或成员。但是,通常有更简洁的方法来指定所需的字符串集。例如,包含三个字符串“Handel”,“Händel”和“Haendel”的集合可以由模式 H(ä|ae?)ndel 指定。

2.2 大部分正则表达式的形式都有如下的结构:

Boolean "or" 布尔“或”

  • 竖线|代表选择(即或集),具有最低优先级。例如gray|grey可以匹配grey或gray。

Quantification 数量限定
某个字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括+、?和*(不加数量限定则代表出现一次且仅出现一次):

  • 问号?代表前面的字符最多只可以出现一次。(0次或1次)。例如,colou?r可以匹配color或者colour;
  • 加号+代表前面的字符必须至少出现一次。(1次或多次)。例如,goo+gle可以匹配google、gooogle、goooogle等;
  • 星号*代表前面的字符可以不出现,也可以出现一次或者多次。(0次、1次或多次)。例如,0*42可以匹配42、042、0042、00042等。

匹配

  • 圆括号()可以用来定义操作符的范围和优先度。例如,gr(a|e)y等价于gray|grey,(grand)?father匹配father和grandfather。

上述这些构造子都可以自由组合,因此H(ae?|ä)ndel和H(a|ae|ä)ndel是相同的。

2.3 精确的语法可能因不同的工具或程序而异。

正则表达式有多种不同的风格。
更多语法及具体规则在可参阅:https://en.wikipedia.org/wiki/Regular_expression

https://en.wikipedia.org/wiki/Comparison_of_regular_expression_engines
正则表达式引擎的比较

正则表达风味比较 - 最流行的正则表达风味的详细比较
http://www.regular-expressions.info/refflavors.html

Regexp语法摘要
http://www.greenend.org.uk/rjk/2002/06/regexp.html

在线正则表达式测试 - 支持Java,JavaScript,.Net,PHP,Python和Ruby
http://www.regexplanet.com/

实现正则表达式 - RE2的作者Russ Cox的系列文章
https://swtch.com/~rsc/regexp/

正则表达式引擎
http://www.softec.lu/site/RegularExpressions/RegularExpressionEngines

3. 实战

3.1 查找html文件里所有高度参数

$ grep height=\"..\" 1.html
<td align="left" height="20">RS</td>
<td align="left" height="23">ORS</td>

3.2 删除表格内高度参数

$ sed 's/height=\"..\">/>/g' 1.html |grep align
<td align="left" >OFS</td>
<td align="left" >RS</td>

3.3 写入文件

$ sed -i 's/height=\"..\">/>/g' 1.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值