Linux文本处理与正则表达式

正则表达式：

　　一种用来描述文本模式的特殊语法。

　　由普通字符（例如字符a到z）以及特殊字符（称为元字符，如／、＊、？等）组成。

基本元字符集及其含义：

字符	含义
^	只匹配行首
$	只匹配行尾
*	匹配０个或多个单字符
[ ]	只匹配[]内字符，可以是一个单字符，也可以是字符序列，可以使用-表示[]内字符序列范围，如[1-5]代表[12345]
	只用来屏蔽一个元字符的特殊含义
.	只匹配任意单个字符
pattern{n}	只用来匹配前面pattern出现次数，n为次数
pattern{n,}	含义同上，但次数最少为n
Pattern{n,m}	含义同上，但pattern出现次数在n与m　之间

　　　部分元字符具体用法：

　　用屏蔽一个特殊字符

　　　这里的特殊字符有’’，‘，||，*，+等

　　　*.pas

　　　　－　正则表达式中匹配以*.pas结尾的所有字符或文件

　　用[]匹配一个范围或集合

　　　－　逗号将括弧内要匹配的不同字符串分开

　　　－　用 - 表示一个字符串范围，表明字符串范围从 - 左边字符开始，到 - 右边字符结束。

　　例子：

view source print ?

01. [0123456789]或[0-9]：假定要匹配任意一个数字。

02.  

03. [a-z]：匹配任意小写字母

04.  

05. [A-Z a-z]：匹配任意大小写字母

06.  

07. [A-Z a-z0-9]：匹配任意字母或数字

08.  

09. [S,s]：匹配大小写s

　　用{}匹配模式结果出现的次数

　　例子：

view source print ?

1. A{2}B：A出现２次，即AAB

2.  

3. A{4,}B：A最少出现４次，AAAAB,AAAAAB,....

4.  

5. A{,4}B：Ａ出现次数２－４次，即AAB,AAAB,AAAAB

一些关于文本处理的命令：

　　find命令

　　－命令形式：

view source print ?

01. Find pathname -option [-print -exec -ok]

02.  

03. －　pathname: find命令所查找的目录

04.  

05. －　-print: find命令将匹配的文件输出到标准输出

06.  

07. －　-exec: find命令对匹配的文件执行该参数所给出的shell命令，相应命令的形式为 ‘command’ {} ; ，注意{}和;之间的空格

08.  

09. －　-ok 和 -exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

10.  

11. －　-name: 按照文件名来查找

12.  

13. －　-perm: 按照文件权限来查找

14.  

15. －　-user: 按照文件所有者来查找文件

16.  

17. －　-group: 按照文件所属组来查找文件

18.  

19. －　-mtime -n +n: 按照文件的更改时间来查找文件， -n 表示文件更改时间距现在n天以内，+n表示文件更改时间距现在n天以前。

20.  

21. － -size n[c]: 查找文件长度为n块的文件，带有c时表示文件长度以字节计

22.  

23. － -nogroup: 查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在

24.  

25. － -nouser: 查找无有效所有者的文件

26.  

27. － -newer file1 !file2:查找更改时间比文件file1新，但是比文件file2旧的文件

28.  

29. － -type：查找某一类型的文件，如：

30.  

31. b: 块设备文件

32.  

33. d: 目录

34.  

35. c: 字符设备文件

36.  

37. p: 管道文件

38.  

39. l: 符号链接文件

40.  

41. f: 普通文件

42.  

43. － -xargs

44.  

45. 在使用find命令时的-exec选项处理匹配到的文件时，find命令将所有匹配到文件一起传递给exec。不幸的是，有些系统对能够传递给exec的命令的长度有限制，这样在find命令运行几分钟后，就会出现溢出的错误。错误信息通常是”参数列太长”或”参数列溢出” 。这就是xargs命令的用处所在，特别是与find命令一起使用。-exec会发起多个进程，但-xargs不会发起多个进程，只有一个。

46.  

47. － -depth选项

48.  

49. 使用find命令时，可以希望先匹配所有文件，再在子目录中查找

　　关于find命令的选项有很多，这里只列出了常用的选项，更多的参数，可以通过man find来查看。

　　部分选项例子：

　　-newer选项

view source print ?

1. jesson@jesson-HP:~/develop/workspace/shell_workspace$ find -newer "who.out" ! -newer"term.txt"

2. ./ls.out

3. ./term.txt

4. ./path.out

5. ./nullfile.txt

6. ./ls_sort.out

　　-size 选项

view source print ?

1. jesson@jesson-HP:~/develop/workspace/shell_workspace$ find -size +300c

2. ./parm.sh

3. jesson@jesson-HP:~/develop/workspace/shell_workspace$ ls -al parm.sh

4. -rwxrw-r-- 1 jesson jesson 637  1月 17 17:07 parm.sh

　　-depth选项

　　使用find命令时，可以希望先匹配所有文件，再在子目录中查找

 

view source print ?

1. find / -name “CON.FILE” -depth -print

　　- 用exec或ok来执行shell命令

view source print ?

1. find . -type f -exec ls -l {} ;

2. find. -name “*.log” -mtime +5 -ok rm {} ;

　　-xargs

view source print ?

1. find -type f -print | xargs file

2. Find ./ -perm -7 -print | xargs chmod o-w

　　grep命令

　　　对文本文件进行模式查找

　　　有三种变形：

　　　－　grep:标准grep命令

　　　－　egrep:扩展的grep命令，支持基本及扩展的正则表达式

　　　－　fgrep:快速grep命令

　　　一般格式：

　　　－　grep [option] 基本正则表达式 [文件]

　　　－　字符串参数最好采用双引号括，一是以防被误解为shell命令，二是可以用来查找多个单词组成的字符串

　　　命令选项：

　　　－　-c：只输出匹配行的计数

　　　－　-i：不区分大小写(只适用于单字符)

　　　－　-h: 查询多文件时不显示文件名

　　　－　-H: 显示文件名

　　　－　-l: 查询多文件时只输出包含匹配字符的文件

　　　－　-n: 显示匹配行及行号

　　　－　-s: 不显示不存在无匹配文本的错误信息

　　　－　-v: 显示不包含匹配文本的所有行

　　　例子:

view source print ?

01. grep “jesson” *.txt

02.  

03. －　在所有.txt文件中查找jesson

04.  

05. grep “^[^201]” myfile

06.  

07. －　在myfile中查找不是以２，０，１开头的行

08.  

09. grep “^$” myfile

10.  

11. －　在myfile中查找空行

12.  

13. grep “^[^dlp]” myfile

14.  

15. －　在myfile中查找不是以d l p开头的行

　　grep命令类名

类	等价的正则表达式
[[:upper:]]	[A-Z]
[[:alnum:]]	[0-9a-zA-Z]
[[:lower:]]	[a-z]
[[:space:]]	空格或tab
[[:digit:]]	[0-9]
[[:alpha::]]	[a-zA-Z]

 

　　awk介绍

　　　awk可以从文件字符串中基于指定规则浏览和抽取信息，是一种自解释的编程语言。

　　　调用awk 三种方式：

　　　－　命令行方式：

　　　　　awk [-F field-spearator] ‘command’ input-files

　　　－　awk脚本

　　　　　所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚本的首行，以便通过键入脚本名称来调用它。

　　　－　awk命令插入一个单独的文件

　　　　　awk -f awk-scipt-file input-files

　　　awk脚本是由各种模式和动作组成。

　　　模式和动作：

　　　－模式部分决定动作语句何时触发及触发事件(BEGIN,END)

　　　－动作对数据进行处理，放在大括号{}内指明。如print

　　　分隔符、域和记录

　　　－awk执行时，其浏览域标记为$1,$2,....,$n.。这种方法称为域标识，$0为所有域。

　　　－注意执行时不要混淆符号$和shell提示符$。

　　　awk 中特殊元字符：+,?

　　　匹配操作符：~,!~

　　　　cat myfile | awk '$0 ~/218.79.131.96/'

　　　　　－打印出myfile中以匹配218.79.131.96的行

　　　　awk '$0 !~ /218.79.131.96/' myfile

　　　　　－打印出myfile中不匹配218.79.131.96的行

　　　　awk '{if($1 == "218.79.131.96") print $0}' myfile

　　　　　－打印出myfile中第一列等于218.79.131.96的行。

　　例子：

　　　awk '{print $0}' myfile

　　　　－打印出myfile中所有域，即打印出文件中的所有文件。

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk '{print $0}' lsout.txt

02. 总用量 60

03. -rw-rw-r-- 1 jesson jesson   0  1月 22 23:43 2

04. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

05. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

06. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

07. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

08. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

09. -rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh

10. -rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh

11. -rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh

12. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt

13. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort

14. -rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh

15. -rw-rw-r-- 1 jesson jesson   0  1月 31 10:08 lsout.txt

16. -rw-rw-r-- 1 jesson jesson  14  1月 22 23:07 name.txt

17. -rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh

18. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

19. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

　　　awk '{print $9 " " $3}' myfile

　　　　－打印出myfile中第9列和第三列，并以tab分隔.

 

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk '{print $9 "   " $3}'lsout.txt

02. break_test.sh   jesson

03. case_test.sh    jesson

04. continue_test.sh    jesson

05. file_desc.sh    jesson

06. for_test1.sh    jesson

07. for_test2.sh    jesson

08. for_test3.sh    jesson

09. helloworld.sh   jesson

10. homefile.txt    jesson

11. homefile.txt.sort   jesson

12. if_test.sh  jesson

13. lsout.txt   jesson

14. name.txt    jesson

15. until_test.sh   jesson

16. while_test1.sh  jesson

17. while_test2.sh  jesson

　　　另外，可以通过"-F 分隔符"来指定分隔。

 

　　　awk BEGIN END用法：

 

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk 'BEGIN {print "Current directory file and its owner"} {print $3 ": " $9} END {print "end-of-report"}'lsout.txt

02. Current directory file and its owner

03. jesson: break_test.sh

04. jesson: case_test.sh

05. jesson: continue_test.sh

06. jesson: file_desc.sh

07. jesson: for_test1.sh

08. jesson: for_test2.sh

09. jesson: for_test3.sh

10. jesson: helloworld.sh

11. jesson: homefile.txt

12. jesson: homefile.txt.sort

13. jesson: if_test.sh

14. jesson: lsout.txt

15. jesson: name.txt

16. jesson: until_test.sh

17. jesson: while_test1.sh

18. jesson: while_test2.sh

19. end-of-report

 

　　sed介绍

　　　sed不与初始化文件打交道，它操作的只是一个拷贝，然后所有的改变如果没有重定向到一个文件，就将输出到屏幕。sed是一种重要的文本过滤工具，使用一行命令或者使用管道与grep或awk相结合使用。另外，它也是非交互性文本流编辑。

　　　调用sed方式：

　　　　－使用sed命令行格式：

　　　　　　sed [选项] sed命令 输入文件

　　　　－使用sed脚本文件

　　　　　　sed [选项] -f sed脚本文件 输入文件

　　　　－sed 脚本文件 [选项] 输入文件

　　　　不管是使用shell命令行方式还是脚本文件方式，如果没有指定输入文件，则sed从标准输入中接受输入，一般是键盘。

　　　sed命令选项：

　　　　－n 不打印没有匹配到的

　　　　－c 下一命令是编辑命令

　　　　－f 正在调用sed脚本文件

　　　sed在文件中查询文体的方式

　　　　－使用行号，可以是一个简单的数字，也可以是一个行号范围。

　　　　－使用正则表达式

 

x	x为一行号
x,y	表示行号范围从x到y
/pattern/	查询包含模式的行
/pattern/pattern/	查询包含两个模式的行
pattern/,x	查询在给定行号上查询包含模式的行
x,/pattern/	通过行号和模式查询匹配和行
x,y!	查询不包含指定行号x 和y的行

 

　　　基本sed编辑命令：

 

p	打印匹配行
=	显示文件行号
a	在定位行号附加新文本信息
i	在定位行号后插入新文本信息
d	删除定们行
c	用新文本替换定位文本
s	使用替换模式替换相应模式
r	从另一文件中读文本
w	写文本到一个文件
q	第一个模式匹配完成后退出或立即退出
l	显示与八进制ASCII代码等价的控制字符
{}	在定位行执行的命令组
n	从另一个文件中读文本下一行，并附加在下一行
g	将模式2粘贴到/pattern n/
y	传送字符

　　　部分用法例子：　

 

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '2p' lsout.txt

02. 总用量 60

03. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

04. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

05. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

06. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

07. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

08. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

09. -rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh

10. -rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh

11. -rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh

12. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt

13. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort

14. -rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh

15. -rw-rw-r-- 1 jesson jesson   0  1月 31 10:35 lsout.txt

16. -rw-rw-r-- 1 jesson jesson  14  1月 22 23:07 name.txt

17. -rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh

18. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

19. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

20. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '2p' lsout.txt 

21. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

22. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '1,4p' lsout.txt

23. 总用量 60

24. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

25. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

26. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

27. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '/while/p' lsout.txt

28. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

29. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

30. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '2,/for/p' lsout.txt

31. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

32. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

33. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

34. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

35. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

36. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '/name/a hello sed!'lsout.txt

37. hello sed!

38. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat name.txt

39. jesson

40. cherry

41. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '/jesson/cjesson20121020'name.txt

42. jesson20121020

43. cherry

44. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '/jesson/ijesson20121020'name.txt

45. jesson20121020

46. jesson

47. cherry

48. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '1d' name.txt

49. cherryjesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat name.txt

50. jesson

51. jesson

52. merry

53. cherry

54. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed 's/jesson/jesson20121020/g'name.txt

55. jesson20121020

56. jesson20121020

57. merry

58. cherry

59. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n 's/jesson/& hello/p'name.txt

60. jesson hello

61. jesson hello

62. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n 's/jesson/hello &/p'name.txt

63. hello jesson

64. hello jesson

 

　　　有关sed的更多用法，可以查看帮助文档，man sed 或 info sed

合并与分隔

　　sort命令

　　　用法：

　　　　sort [options] files

　　　　－许多不同的域按不同的列顺序分类。

　　　　－-c测试文件是否已经分类

　　　　－-m合并两个分类文件

　　　　－-u删除所有重复行

　　　　－-o存储sort结果的输出文件名

　　　　－-t 域分隔符；用非空格或tab键分隔域

　　　　－+n n为域号，使用此域号开始分类

　　　　－n指定分类是域上的数字分类项

　　　　－-r 比较求决逆。

　　　例子：

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -c name.txt

02. sort：name.txt:4：无序： cherry

03. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat lsout.txt

04. 总用量 60

05. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

06. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

07. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

08. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

09. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

10. -rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh

11. -rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh

12. -rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh

13. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt

14. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort

15. -rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh

16. -rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt

17. -rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt

18. -rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt

19. -rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh

20. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

21. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

22. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -u lsout.txt

23. -rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt

24. -rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt

25. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt

26. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort

27. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

28. -rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh

29. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

30. -rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh

31. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

32. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

33. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

34. -rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh

35. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

36. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

37. -rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh

38. -rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh

39. 总用量 60

40. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -r lsout.txt

41. 总用量 60

42. -rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh

43. -rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh

44. -rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh

45. -rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh

46. -rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh

47. -rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh

48. -rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh

49. -rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh

50. -rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh

51. -rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh

52. -rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh

53. -rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh

54. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort

55. -rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt

56. -rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt

57. -rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt

58. -rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt

 

　　uniq命令

　　　格式：

　　　　　uniq [option] files

　　　　　－从一个文本文件中去除或禁止重复行

　　　　　－-u只显示不重复行　

　　　　　－-d只显示有重复的行，每种重复行只显示其中一行

　　　　　－-c打印每一重复行出现次数

　　　　　－-f n n为数字，前n个域被忽略。

　　　例子：　　　

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -c name.txt

02. 2 jesson

03. 1 merry

04. 1 cherry

05. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -d name.txt

06. jesson

07. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -u name.txt

08. merry

09. cherry

 

　join命令

 

　　　 格式：

　　　　　join [option] file1 file2

　　　　　－用来将来自两个分类文本文件的行连接在一起。

　　　　　－-an, n为一个数字，用于连接时从文件n中显示不匹配行。

　　　　　－-o n.m 连接域，n为文件号，m为域号

　　　　　－-j n m n为文件号，m为域号。使用其他域作连接域。

　　　　　－-t 域分隔符，用来设置非窗或tab键的域分隔符。

　　split命令

　　　　格式：

　　　　　split -output_file-size input-filename output-filename

　　　　　－-b n 　每个分割文件的大小n

　　　　　－-C n　 每个分割文件一行最多n字节

　　　　　－-l n　每个分割文件的行数

　　　　　－-n　同-l n

　　　　例子：

 

view source print ?

01. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat lsout.txt | wc -l

02. 18

03. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ split -6 lsout.txt split

04. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$  ls -l split* | wc -l

05. 3

06. jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ ls -l split*

07. -rw-rw-r-- 1 jesson jesson 313  2月  1 20:00 splitaa

08. -rw-rw-r-- 1 jesson jesson 358  2月  1 20:00 splitab

09. -rw-rw-r-- 1 jesson jesson 348  2月  1 20:00 splitac

　

　　　另外，关于合并和分割的命令，其实还有cut和paste，这些命令用法都很相似，可以查看帮助文档查看其详细的用法。