linux高级原5

shell脚本语言包含了众多用于解决Unix/Linux系统问题必不可少的组件。文本处理是shell脚本擅长的重要领域之一。它可以与sed、awk、grep、cut这类优美的工具组合在一起来解决文本处理相关的问题。

有各种各样的工具能够帮助我们从不同的细节层面上处理文件,比如字符、行、单词、行列等,允许我们用多种方法来处理文本文件。正则表达式是模式匹配技术的核心。借助适合的正则表达式,可以生成我们所需的各类输出结果,例如过滤、剥离(strip)、替换、搜索等。

使用正则表达式

正则表达式是由字面文本和具有特殊意义的符号组成的


正则表达式 描 述 示 例




2、用grep 在文件中搜索文本

在文件中进行搜索是文本处理中一项重要工作。我们也许需要在某些多达上千行的文件中查找所需要的数据。这则攻略将教你如何从大量数据中定位符合规格的数据。

grep命令作为Unix中用于文本搜索的神奇工具,能够接受正则表达式,生成各种格式的输
出。除此之外,它还有大量有趣的选项。让我们看看具体的用法。
(1) 搜索包含特定模式的文本行:

$ grep pattern filename
this is the line containing pattern
或者
$ grep "pattern" filename
this is the line containing pattern
(2) 也可以像下面这样从stdin中读取:
$ echo -e "this is a word\nnext line" | grep word
this is a word
(3) 单个grep命令也可以对多个文件进行搜索:
$ grep "match_text" file1 file2 file3 ...
(4) 用--color选项可以在输出行中着重标记出匹配到的单词:
$ grep word filename --color=auto
this is the line containing word
(5) grep命令只解释match_text中的某些特殊字符。如果要使用正则表达式,需要添
加-E选项——这意味着使用扩展(extended)正则表达式。或者也可以使用默认允
许正则表达式的grep命令——egrep。例如:
$ grep -E "[a-z]+" filename
或者
$ egrep "[a-z]+" filename
(6) 只输出文件中匹配到的文本部分,可以使用选项 -o:
$ echo this is a line. | egrep -o "[a-z]+\."
line.
(7) 要打印除包含match_pattern行之外的所有行,可使用:
$ grep -v match_pattern file
选项-v可以将匹配结果进行反转(invert)。
(8) 统计文件或文本中包含匹配字符串的行数:
$ grep -c "text" filename
10
需要注意的是-c只是统计匹配行的数量,并不是匹配的次数。例如:
$ echo -e "1 2 3 4\nhello\n5 6" | egrep -c "[0-9]"
2

尽管有6个匹配项,但命令只打印出2,这是因为只有两个匹配行。在单行中出现的
多次匹配只被统计为一次。
(9) 要文件中统计匹配项的数量,可以使用下面的技巧:
$ echo -e "1 2 3 4\nhello\n5 6" | egrep -o "[0-9]" | wc -l
6
(10) 打印出包含匹配字符串的行号:
$ cat sample1.txt
gnu is not unix
linux is fun
bash is art
$ cat sample2.txt
planetlinux
$ grep linux -n sample1.txt
2:linux is fun
或者
$ cat sample1.txt | grep linux -n
如果涉及多个文件,它也会随着输出结果打印出文件名:
$ grep linux -n sample1.txt sample2.txt
sample1.txt:2:linux is fun
sample2.txt:2:planetlinux
(11) 打印模式匹配所位于的字符或字节偏移:
$ echo gnu is not unix | grep -b -o "not"
7:not
一行中字符串的字符偏移是从该行的第一个字符开始计算,起始值是0。在上面的
例子中,"not"的偏移值是7(也就是说,not是从该行的第7个字符开始的,即“gnu
is not unix”这一行)。
选项 -b总是和 -o配合使用。
(12) 搜索多个文件并找出匹配文本位于哪一个文件中:
$ grep -l linux sample1.txt sample2.txt
sample1.txt
sample2.txt
和-l相反的选项是-L,它会返回一个不匹配的文件列表。

1. 递归搜索文件
如果需要在多级目录中对文本进行递归搜索,可以使用:
$ grep "text" . -R -n
命令中的“.”指定了当前目录。

2. 忽略样式中的大小写
选项 -i可以使匹配样式不考虑字符的大小写,例如:
$ echo hello world | grep -i "HELLO"
hello
3. 用grep匹配多个样式
在进行匹配的时候通常只指定一个样式。然而,我们可以用选项 -e来指定多个匹配样式:
$ grep -e "pattern1" -e "pattern"

我们可以提供一个样式文件用于读取样式。在样式文
件中逐行写下需要匹配的样式,然后用选项 -f执行grep:
$ grep -f pattern_filesource_filename
例如:
$ cat pat_file
hello
cool
$ echo hello this is cool | grep -f pat_file
hello this is cool

有时候,我们并不打算查看匹配的字符串,而只是想知道是否能够成功匹配。这可以通过设
置grep的静默选项(-q)来实现。在静默模式中,grep命令不会输出任何内容。它仅是运行命
令,然后根据命令执行成功与否返回退出状态。
如果命令运行成功会返回0,如果失败则返回非0值。

5. 使用0值字节作为后缀的grep与xargs
xargs命令通常用于将文件名列表作为命令行参数提供给其他命令。当文件名用作命令行参
数时,建议用0值字节作为文件名终止符,而非空格。因为一些文件名中会包含空格字符,一旦
它被误解为终结符,那么单个文件名就会被认为是两个文件名(例如,New file.txt被解析成New
和file.txt两个文件名)。这个问题可以利用0值字节后缀来避免。我们使用xargs以便从诸如grep、
find中接收stdin文本。这些命令可以将带有0值字节后缀的文本输出到stdout。为了指明输入
的文件名是以0值字节(\0)作为终止符,需要在xargs中使用-0。
创建测试文件:
$ echo "test" > file1
$ echo "cool" > file2
$ echo "test" > file3

在下面的命令序列中,grep使用-Z选项输出以0值字节作为终结符的文件名(\0)。xargs -0
读取输入并用0值字节终结符分隔文件名:
$ grep "test" file* -lZ | xargs -0 rm
-Z通常和 -l结合使用。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值