常用命令的模糊匹配

正则表达式

选择
  |竖直分隔符表示选择，例如"boy|girl"可以匹配"boy"或者"girl"
数量限定
  数量限定除了我们举例用的*,还有+加号,?问号,如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：

• +表示前面的字符必须出现至少一次(1次或多次)，例如，“goo+gle”,可以匹配"gooogle","goooogle"等；
• ?表示前面的字符最多出现一次(0次或1次)，例如，“colou?r”,可以匹配"color"或者"colour";
• *星号代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次），例如，“0*42”可以匹配42、042、0042、00042等。

范围和优先级
  ()圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，"gr(a|e)y"等价于"gray|grey"，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），"(grand)?father"匹配father和grandfather（这里体验了范围，?将圆括号内容作为一个整体匹配）。

RE思维导图

grep命令

常用参数：

grep使用正则表达式

位置
查找/etc/group文件中以"shiyanlou"为开头的行
  $ grep 'shiyanlou' /etc/group
  $ grep '^shiyanlou' /etc/group

数量

• 将匹配以’z’开头以’o’结尾的所有字符串
  $ echo 'zero\nzo\nzoo' | grep 'z.*o'
• 将匹配以’z’开头以’o’结尾，中间包含一个任意字符的字符串
  $ echo 'zero\nzo\nzoo' | grep 'z.o'
• 将匹配以’z’开头,以任意多个’o’结尾的字符串
  $ echo 'zero\nzo\nzoo' | grep 'zo*'

注意：其中\n为换行符

选择

• grep默认是区分大小写的，这里将匹配所有的小写字母
  $ echo '1234\nabcd' | grep '[a-z]'
• 将匹配所有的数字
  $ echo '1234\nabcd' | grep '[0-9]'
• 将匹配所有的数字
  $ echo '1234\nabcd' | grep '[[:digit:]]'
• 将匹配所有的小写字母
  $ echo '1234\nabcd' | grep '[[:lower:]]'
• 将匹配所有的大写字母
  $ echo '1234\nabcd' | grep '[[:upper:]]'
• 将匹配所有的字母和数字，包括0-9,a-z,A-Z
  $ echo '1234\nabcd' | grep '[[:alnum:]]'
• 将匹配所有的字母
  $ echo '1234\nabcd' | grep '[[:alpha:]]'
  

完整的特殊符号及说明：


注意：之所以要使用特殊符号，是因为上面的[a-z]不是在所有情况下都管用，这还与主机当前的语系有关，即设置在LANG环境变量的值，zh_CN.UTF-8的话[a-z]，即为所有小写字母，其它语系可能是大小写交替的如，"a A b B...z Z"，[a-z]中就可能包含大写字母。所以在使用[a-z]时请确保当前语系的影响，使用[:lower:]则不会有这个问题。

排除字符

$ echo 'geek\ngood' | grep '[^o]'
注意:当^放到中括号内为排除字符，否则表示行首。

使用扩展正则表达式

  使用ERE，要通过grep使用扩展正则表达式需要加上-E参数，或使用egrep。grep支持三种正则表达式引擎，分别用三个参数指定：

数量

• 只匹配"zo"
  $ echo 'zero\nzo\nzoo' | grep -E 'zo{1}'
• 匹配以"zo"开头的所有单词
  $ echo 'zero\nzo\nzoo' | grep -E 'zo{1,}'

选择

• 匹配"www.shiyanlou.com"和"www.google.com"
$ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(shiyanlou|google)\.com'
• 或者匹配不包含"baidu"的内容
  $ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com'
  

sed流编辑器

  前面的"vi/vim(编辑器之神)","emacs(神的编辑器)","gedit"这些个编辑器。sed与上述的最大不同之处在于它是一个非交互式的编辑器，下面我们就开始学习sed这个编辑器。
sed 命令基本格式：
  sed [参数]... [执行命令] [输入文件]...
形如：
  $ sed -i 's/sad/happy/' test # 表示将test文件中的"sad"替换为"happy

sed编辑器的执行命令

sed执行命令格式：
  [n1][,n2]command
  [n1][~step]command
其中一些命令可以在后面加上作用范围，形如：
  $ sed -i 's/sad/happy/g' test # g表示全局范围
  $ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串
注：其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作，下面为一些常用动作指令：

sed操作举例

先找一个用于练习的文本文件：
  $ cp /etc/passwd ~

• 打印指定行
  $ nl passwd | sed -n '2,5p' //打印2-5行
$ nl passwd | sed -n '1~2p' //打印奇数行
  

• 行内替换
  将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令
  $ sed -n 's/shiyanlou/hehe/gp' passwd

• 行间替换
  $ nl passwd | grep "shiyanlou"

• 删除第21行
  $ sed -n '21c\www.shiyanlou.com' passwd（这里我们只把要删的行打印出来了，并没有真正的删除，如果要删除的话，请使用-i参数）
  

awk文本处理语言体验

  AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一.其名称得自于它的创始人Alfred Aho（阿尔佛雷德·艾侯）、Peter Jay Weinberger（彼得·温伯格）和Brian Wilson Kernighan（布莱恩·柯林汉)姓氏的首个字母.AWK程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。最简单地说，AWK是一种用于处理文本的编程语言工具。
  在大多数linux发行版上面，实际我们使用的是gawk（GNU awk，awk的GNU版本），在我们的环境中ubuntu上，默认提供的是mawk，不过我们通常可以直接使用awk命令（awk语言的解释器），因为系统已经为我们创建好了awk指向mawk的符号链接。
  nawk： 在 20 世纪 80 年代中期，对 awk语言进行了更新，并不同程度地使用一种称为nawk(new awk) 的增强版本对其进行了替换。许多系统中仍然存在着旧的awk 解释器，但通常将其安装为oawk (old awk)命令，而 nawk 解释器则安装为主要的 awk 命令，也可以使用 nawk 命令。Dr. Kernighan 仍然在对 nawk 进行维护，与 gawk 一样，它也是开放源代码的，并且可以免费获得。
  gawk： 是 GNU Project的awk解释器的开放源代码实现。mawk 也是awk编程语言的一种解释器，包含了一些没有在AWK 手册中提到的特色，同时 mawk 提供一小部分扩展,另外据说mawk是实现最快的awk。

AWK的基础概念

awk所有的操作都是基于pattern(模式)—action(动作)对来完成的，如下面的形式：
  $ pattern {action}
  你可以看到就如同很多编程语言一样，它将所有的动作操作用一对{}花括号包围起来。其中pattern通常是表示用于匹配输入的文本的“关系式”或“正则表达式”，action则是表示匹配后将执行的动作。在一个完整awk操作中，这两者可以只有其中一个，如果没有pattern则默认匹配输入的全部文本，如果没有action则默认为打印匹配内容到屏幕。
  awk处理文本的方式，是将文本分割成一些“字段”，然后再对这些字段进行处理，默认情况下，awk以空格作为一个字段的分割符，不过这不是固定的，你可以任意指定分隔符，下面将告诉你如何做到这一点。

awk命令基本格式

  awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]
  其中-F参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式） ，-v用于预先为awk程序指定变量，-f参数用于指定awk命令要执行的程序文件，或者在不加-f参数的情况下直接将程序语句放在这里，最后为awk需要处理的文本输入，且可以同时输入多个文本文件。现在我们还是直接来具体体验一下吧。

awk操作体验

先用vim新建一个文本文档
  $ vim test
包含如下内容：
  I like linux
  www.shiyanlou.com
使用awk将文本内容打印到终端:


说明:在这个操作中我是省略了pattern，所以awk会默认匹配输入文本的全部内容，然后在"{}"花括号中执行动作，即print打印所有匹配项，这里是全部文本内容。
将test的第一行的每个字段单独显示为一行：


说明:你首先应该注意的是，这里我使用了awk语言的分支选择语句if,它的使用和很多高级语言如C/C++语言基本一致，如果你有这些语言的基础，这里将很好理解。另一个你需要注意的是NR与OFS，这两个是awk内建的变量，NR表示当前读入的记录数，你可以简单的理解为当前处理的行数，OFS表示输出时的字段分隔符，默认为" "空格，如上图所见，我们将字段分隔符设置为\n换行符，所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是$N其中N为相应的字段号，这也是awk的内建变量，它表示引用相应的字段，因为我们这里第一行只有三个字段，所以只引用到了$3。除此之外另一个这里没有出现的$0，它表示引用当前记录（当前行）的全部内容。
将test的第二行的以点为分段的字段换成以空格为分隔：


说明：这里的-F参数，前面已经介绍过，它是用来预先指定待处理记录的字段分隔符。我们需要注意的是除了指定OFS我们还可以在print 语句中直接打印特殊符号如这里的\t，print打印的非变量内容都需要用""一对引号包围起来。上面另一个版本，展示了实现预先指定变量分隔符的另一种方式，即使用BEGIN，就这个表达式指示了，其后的动作将在所有动作之前执行，这里是FS赋值了新的"."点号代替默认的" "空格
注意:首先说明一点，我们在学习和使用awk的时候应该尽可能将其作为一门程序语言来理解，这样将会使你学习起来更容易，所以初学阶段在练习awk时应该尽量按照我那样的方式分多行按照一般程序语言的换行和缩进来输入，而不是全部写到一行。

awk常用的内置变量

轻松一下

  vim大冒险：在线游戏，迅速掌握vim基础
  https://vim-adventures.com/

用RE进行数据提取

下载数据：
  $ cd /home/shiyanlou
  $ wget http://labfile.oss.aliyuncs.com/courses/1/data2
data2里的内容：

目标：

• 在文件 /home/shiyanlou/data2 中匹配数字开头的行，将所有以数字开头的行都写入 /home/shiyanlou/num 文件。
• 在文件 /home/shiyanlou/data2 中匹配出正确格式的邮箱，将所有的邮箱写入 /home/shiyanlou/mail 文件，注意该文件中每行为一个邮箱。

答案：

• grep '^[0-9]' /home/shiyanlou/data2 > /home/shiyanlou/num
• grep -E '^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(.[a-zA-Z0-9_-]+)+$' /home/shiyanlou/data2 > /home/shiyanlou/mail