8月21号上课笔记

4)显示非匹配行
显示所有不包含4 8的各行
 

CODE:

$ grep -v "48"data.f5)精确匹配
可能大家已注意到，在上一例中，抽取字符串“ 4 8”，返回结果包含诸如4 8 4和4 8 3等包含“4 8”的其他字符串，实际上应精确抽取只包含4 8的各行。
使用g r e p抽取精确匹配的一种更有效方式是在抽取字符串后加\ >。假定现在精确抽取4 8，方法如下：
 

CODE:

$grep "48\>" data.f
 

QUOTE:

另一种方法我试过，好像不行：
注意在每个匹配模式中抽取字符串后有一个< Ta b >键，所以应操作如下：
< Ta b >表示点击t a b键。
$grep "48<tab>" data.f6)大小写敏感
缺省情况下， g r e p是大小写敏感的，如要查询大小写不敏感字符串，必须使用- i开关。在d a t a . f文件中有月份字符S e p t，既有大写也有小写，要取得此字符串大小写不敏感查询，方法如下：
 

CODE:

$grep -i "48" data.fgrep和正则表达式

使用正则表达式使模式匹配加入一些规则，因此可以在抽取信息中加入更多选择。使用正则表达式时最好用单引号括起来，这样可以防止g r e p中使用的专有模式与一些s h e l l命令的特殊方式相混淆。
                                                                           
1、模式范围
抽取代码为4 8 4和4 8 3的城市位置，可以使用[ ]来指定字符串范围。
 

CODE:

$ grep "48[34]" data.f
483     Sept 5AP1996 USP     65.00 LVX2C 189
484     nov     7PL1996 CAD     49.00 PLV2C 234
483     may     5PA1998 USP     37.00 KVM9D 6442、不匹配行首
使行首不是4或8，可以在方括号中使用^记号。
 

CODE:

$ grep "^[^48]" data.f
219     dec     2CC1999 CAD     23.00 PLV2C 68
216     sept 3ZL1998 USP     86.00 KVM9E 234如果是字符串48
 

CODE:

$ grep -v "^[^48]" data.f3、设置大小写
使用- i开关可以屏蔽月份S e p t的大小写敏感
 

CODE:

[sam@chenwy sam]$ grep -i "sept" data.f
483     Sept 5AP1996 USP     65.00 LVX2C 189
216     sept 3ZL1998 USP     86.00 KVM9E 234 也可以用另一种方式[ ]模式抽取各行包含S e p t和s e p t的所有信息。
 

CODE:

[sam@chenwy sam]$ grep '[sS]ept' data.f 如果要抽取包含S e p t的所有月份，不管其大小写，并且此行包含字符串483，可以使用管道命令，即符号“|”左边命令的输出作为“ |”右边命令的输入。举例如下：
 

CODE:

[sam@chenwy sam]$ grep '[sS]ept' data.f | grep 48
483     Sept 5AP1996 USP     65.00 LVX2C 189 不必将文件名放在第二个g r e p命令中，因为其输入信息来自于第一个g r e p命令的输出
                                                                           
4、匹配任意字符
如果抽取以K开头，以D结尾的所有代码，可使用下述方法，因为已知代码长度为5个字符：
 

CODE:

[sam@chenwy sam]$ grep 'K...D' data.f
47    Oct     3ZL1998 LPSX 43.00 KVM9D 512
483     may     5PA1998 USP     37.00 KVM9D 644 将上述代码做轻微改变，头两个是大写字母，中间两个任意，并以C结尾：
 

CODE:

[sam@chenwy sam]$ grep '[A-Z]..C' data.f
483     Sept 5AP1996 USP     65.00 LVX2C 189
219     dec     2CC1999 CAD     23.00 PLV2C 68
484     nov     7PL1996 CAD     49.00 PLV2C 2345、日期查询
一个常用的查询模式是日期查询。先查询所有以5开始以1 9 9 6或1 9 9 8结尾的所有记录。使用模式5 . . 1 9 9 [ 6 , 8 ]。这意味着第一个字符为5，后跟两个点，接着是1 9 9，剩余两个数字是6或8。
 

CODE:

[sam@chenwy sam]$ grep '5..199[6,8]' data.f
483     Sept 5AP1996 USP     65.00 LVX2C 189
483     may     5PA1998 USP     37.00 KVM9D 6446、范围组合
必须学会使用[ ]抽取信息。假定要取得城市代码，第一个字符为0-9，第二个字符在0到5之间，第三个字符在0到6之间，使用下列模式即可实现。
 

CODE:

[sam@chenwy sam]$ grep '[0-9][0-5[0-6]' data.f
48    Dec     3BC1977 LPSX 68.00 LVX2A 138
483     Sept 5AP1996 USP     65.00 LVX2C 189
47    Oct     3ZL1998 LPSX 43.00 KVM9D 512
219     dec     2CC1999 CAD     23.00 PLV2C 68
484     nov     7PL1996 CAD     49.00 PLV2C 234
483     may     5PA1998 USP     37.00 KVM9D 644
216     sept 3ZL1998 USP     86.00 KVM9E 234 这里返回很多信息，有想要的，也有不想要的。参照模式，返回结果是正确的，因此这里
 

CODE:

[sam@chenwy sam]$ grep '^[0-9][0-5][0-6]' data.f
219     dec     2CC1999 CAD     23.00 PLV2C 68
216     sept 3ZL1998 USP     86.00 KVM9E 234 这样可以返回一个预期的正确结果。
                                                                        
7、模式出现机率
抽取包含数字4至少重复出现两次的所有行，方法如下：
 

CODE:

[sam@chenwy sam]$ grep '4\{2,\}' data.f
483     may     5PA1998 USP     37.00 KVM9D 644 上述语法指明数字4至少重复出现两次，注意有无边界字符的区别。                                                                            
同样，抽取记录使之包含数字9 9 9（三个9），方法如下：
 

CODE:

[sam@chenwy sam]$ grep '9\{3,\}' data.f
219     dec     2CC1999 CAD     23.00 PLV2C 68 如果要查询重复出现次数一定的所有行，语法如下，数字9重复出现两次或三次：
 

CODE:

[sam@chenwy sam]$ grep '9\{3\}' data.f
219     dec     2CC1999 CAD     23.00 PLV2C 68
[sam@chenwy sam]$ grep '9\{2\}' data.f
483     Sept 5AP1996 USP     65.00 LVX2C 189
47    Oct     3ZL1998 LPSX 43.00 KVM9D 512
219     dec     2CC1999 CAD     23.00 PLV2C 68
484     nov     7PL1996 CAD     49.00 PLV2C 234 有时要查询重复出现次数在一定范围内，比如数字或字母重复出现2到6次，下例匹配数字8重复出现2到6次，并以3结尾：
 

CODE:

[sam@chenwy sam]$ cat myfile
83
888883
8884
88883
[sam@chenwy sam]$ grep '8\{2,6\}3' myfile
888883
888838、使用grep匹配“与”或者“或”模式
g r e p命令加- E参数，这一扩展允许使用扩展模式匹配。例如，要抽取城市代码为2 1 9或2 1 6，方法如下：
 

CODE:

[sam@chenwy sam]$ grep -E '219|216' data.f
219     dec     2CC1999 CAD     23.00 PLV2C 68
216     sept 3ZL1998 USP     86.00 KVM9E 2349、空行
结合使用^和$可查询空行。使用- c参数显示总行数：
 

CODE:

[sam@chenwy sam]$ grep -c '^$' myfile 使用- n参数显示实际在哪一行：
 

CODE:

[sam@chenwy sam]$ grep -c '^$' myfile10、匹配特殊字符
查询有特殊含义的字符，诸如$ . ' " * [] ^ | \ + ? ,必须在特定字符前加\。假设要查询包含“.”的所有行，脚本如下：
 

CODE:

[Copy to clipboard]

[sam@chenwy sam]$ grep '\.' myfile 或者是一个双引号：
 

CODE:

[sam@chenwy sam]$ grep '\"' myfile 以同样的方式，如要查询文件名c o n f t r o l l . c o n f（这是一个配置文件），脚本如下：
 

CODE:

[sam@chenwy sam]$ grep 'conftroll\.conf' myfile11、查询格式化文件名
使用正则表达式可匹配任意文件名。系统中对文本文件有其标准的命名格式。一般最多六个小写字符，后跟句点，接着是两个大写字符。
 

CODE:

[sam@chenwy sam]$ grep '^[a-z]\{1,6\}\.[A-Z]\{1,2\}' filename 这个写法我不知道有没有错 :oops:   :oops:   :oops: 
                                                                           
12 查询IP地址
要查看n n n . n n n网络地址，如果忘了第二部分中的其余部分，只知有两个句点，例如n n n . n n . .。要抽取其中所有nnn.nnn IP地址，使用[ 0 - 9 ] \ { 3 \ } \ . [ 0 - 0 \ { 3 \ } \。含义是任意数字出现3次，后跟句点，接着是任意数字出现3次，后跟句点。
 

CODE:

[0-9]\{3\}\.[0-9]\{3\}\.'1、类名

g r e p允许使用国际字符模式匹配或匹配模式的类名形式。
类名及其等价的正则表达式类等价的正则表达式类等价的正则表达式
 

QUOTE:

[ [ : u p p e r : ] ] [ A - Z ] [ [ : a l n u m : ] ] [ 0 - 9 a - zA-Z]
[ [ : l o w e r : ] ] [ a - z ] [ [ : s p a c e : ] ] 空格或t a b键
[ [ : d i g i t : ] ] [ 0 - 9 ] [ [ : a l p h a : ] ] [ a - z A - Z ] 例一：取以5开头，后跟至少两个大写字母：
 

CODE:

$grep '5[[:upper:]][[:upper]]' data.f 取以P或D结尾的所有产品代码：
 

CODE:

grep '[[:upper:]][[:upper:]][P,D]' data.f2、使用通配符*的匹配模式
 

CODE:

$cat testfile
looks
likes
looker
long 试试如下：
 

CODE:

grep "l.*s" testfile 如在行尾查询某一单词，试如下模式：
 

CODE:

grep "ng$" testfile 这将在所有文件中查询行尾包含单词ng的所有行。

3、系统grep

文件passwd
 

CODE:

[root@Linux_chenwy sam]# grep "sam" /etc/passwd
sam:x:506:4::/usr/sam:/bin/bash 上述脚本查询/ e t c / p a s s w d文件是否包含sam字符串

如果误输入以下脚本：
 

CODE:

[root@Linux_chenwy sam]# grep "sam" /etc/password
grep: /etc/password: 没有那个文件或目录 将返回g r e p命令错误代码'No such file or directory'。
上述结果表明输入文件名不存在，使用g r e p命令- s开关，可屏蔽错误信息。
返回命令提示符，而没有文件不存在的错误提示。
 

CODE:

[root@Linux_chenwy sam]# grep -s "sam" /etc/password 如果g r e p命令不支持- s开关，可替代使用以下命令：
 

CODE:

[root@Linux_chenwy sam]# grep "sam" /tec/password >/dev/null 2>&1 脚本含义是匹配命令输出或错误（ 2 > $ 1），并将结果输出到系统池。大多数系统管理员称/ d e v / n u l l为比特池，没关系，可以将之看成一个无底洞，有进没有出，永远也不会填满。

上述两个例子并不算好，因为这里的目的只想知道查询是否成功。

如要保存g r e p命令的查询结果，可将命令输出重定向到一个文件。
 

CODE:

[root@Linux_chenwy sam]# grep "sam" /etc/passwd >/usr/sam/passwd.out
[root@Linux_chenwy sam]# cat /usr/sam/passwd.out
sam:x:506:4::/usr/sam:/bin/bash 脚本将输出重定向到目录/ t m p下文件p a s s w d . o u t中。

用awk生成以下结构文件

用awk编写生成以下结构文件的程序。( 最后列使用现在的时间，时间格式为YYYYMMDDHHMISS)  各列的值应如下所示，每增加一行便加1，共500万行。
1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

 

1. #! /bin/bash

2.  

3. for i in `seq 1 5000000`; do

4. n=`echo "$i"|awk '{print length($0)}'`

5. export m=$[10-$n]

6. export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`

7. export j=$i

8. p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`

9. echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"

10. done

11. 其中用到了perl，所以脚本整体看起来比较啰嗦，希望能找到更好的解决办法。

12. PS: shell 执行效率很低，so 该脚本运行时间会很漫长！

awk用print打印单引号

awk 'BEGIN{print "a'"'"'s"}'  //不用脱义，就多写几个单引号、双引号

awk 'BEGIN{print "a'\''s"}'  //用脱义，脱义的是单引号

awk 'BEGIN{print "a\"s"}'  //用脱义，脱义的是双引号