【Linux-18】让文本飞

 

4.1 正则表达式入门

   1 正则表达式是基于样式匹配的文本处理技术的关键所在

   2 正则表达式是用于绝大多数文本处理工具的一种语言

   3 正则表达式的基本组成部分

      正则表达式                 描述             

               ^                      行起始标记      

               $                      行尾标记

                .                      匹配任意一个字符

               []                      匹配包含在[]之中的任意一个字符

               [^]                    匹配除了[]之外的任意一个字符

               [-]                     匹配[]中指定范围内的任意一个字符

               ?                      匹配之前的项1次或0次

               +                      匹配之前的项1次或多次

               *                       匹配之前的项0次或多次

               {n}                    匹配之前的项n次

               {n,}                   匹配之前的项至少n次

               {n,m}               匹配之前的项至少n次最大m次

    4 为了匹配一个IP地址，可以使用下面的正则表达式

         [0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}

         我们知道IP地址通常是由点号分割的4个整数，每个整数的值是0-255

    5 我们在字符前面放一个”\"，这种做法是称为对字符的转制

 

4.2 用grep在文件中搜索文本

    1 grep命令是UNIX中用于文本搜索的大师级工具，它能够接受正则表达式和通配符

    2 在文件中搜索一个单词： grep word file

    3 grep命令也可以对多个文件进行搜索： grep word file1 file2 file3...

    4 如果想要打印包含word之外的所有行可使用： grep -v word file

    5 统计文件或文本中包含匹配字符串的行数： grep -c word file

    6 打印出包含匹配字符串的行数： grep -n word file

    7 如果需要在多级目录中对文本进行递归搜索，可以使用： grep word path -R -n

    8 忽略样式中的大小写： grep -i word file

    9 打印出匹配文件之前或之后的行

       要打印匹配某个结果之后3行： grep word -A 3 file

       要打印匹配某个结果之前的3行： grep word -B 3 file

       要打印匹配某个结果的之前及之后3行： grep word -C 3 file

 

4.3 用cut按列切分文件

    1 cut是一个帮我们将文本按列进行切分的小工具，它也可以通过指定定界符

    2 为了提取第一个字段或列，可以使用下面的方法

        cut -f field_list file  // field_list是要显示的列

    3 cut -f 2,3 file // 这条命令将显示第2，第3列

    4 我们也可以利用-complement选项对提取的字段进行补集运算，假设有多个字段，你希望打印出除了第3列之外的所有列，则可以使用： cut -f3 --complement file

    5 要指定字段的定界符，使用-d选项： cut -f2 -d";" file // 命令显示第2列，用";"做为分割符

    6 如果要切分出第n到m个字符可以使用： cut -cn-m file

  

4.4 sed入门

    1 sed是stream editor（流编辑器）的缩写，它是文本处理中非常重要的工具，它能够完美的配合正则表达式使用，功能不同反响

    2 sed可以替换给文本中的字符串，它可以利用正则表达式进行匹配

       sed 's/pattern/replace_string/' file

    3 如果使用-i选项，可以将替换结果应用于原文件: sed -i 's/pattern/replace_string/' file

    4 用sed移除空白行： sed '/^$/d' file 

    5 利用管道组多个sed命令这种方法可以用下面的方式替换： sed expression | sed expression 等价于sed 'expression ; expression'

    

4.5 awk入门

    1 awk脚本的结构基本如下所示： awk 'BEGIN{statement} pattern{statement}END{statement}'

    2 一个awk脚本通常有三个部分组成：BEGIN语句块，END语句块和能够使用模式匹配的语句块。这三个部分是可选的，它们中的任何一个部分都可以不出现在脚本中，脚本通常包含在单引号中或双引号中

    3 awk命令的工作方式

      （1） 执行BEGIN{statement}语句块中的语句

      （2） 从文件或stdin中读取一行，然后执行pattern{statement}，重复这个过程，直到文件全部读取完毕

      （3） 当读至输入流末尾的时候，执行END{statement}语句块

    4 BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，诸如变量的初始化，打印输出表格的表头语句等等

    5 END语句块和BEGIN类似，END语句在awk从输入流中读取完毕之后被执行，像打印所有行的结果这类信息一般都是放在END语句块中执行

    6 最终要的部分是pattern语句块中的部分，这个语句块同样也是可选的，如果不提供，则默认执行print，即打印每一个读取的行

    7 当使用不带参数的pring时，它会打出当前行。关于print，需要记住的是：当pring的参数是以逗号进行分割时，参数打印则以空格做为定界符，在awk的print中双引号是被当做拼接操作符使用的

    8 awk的一些特殊变量

       NR： 表示记录数量，在执行的过程中相当于当前行号

       NF： 表示字段数量，在执行过程中对应于当前行的字段数

       $0: 这个变量包含执行过程中当前行的文本内容

       $1: 这个变量包含第一个字段的文本内容

       $2: 这个变量包含第二个字段的文本内容

    9 通常grep是默认读取一个文件的所有行，如果只想读取某一行，可以使用getline

    10 awk有很多内置的函数

         length(string): 返回字符串的长度

         index(string, search_string): 返回search_string在字符串中的出现的位置

         split(string, array, delimiter)： 用定界符生成一个字符串列表，并将该列表存入数组

         

4.6 替换文本或文件中的字符串

    1 可以使用下面的方式替换一个字符串或样式

       sed 's/pattern/replace_string/g' file //这条命令会替换所有匹配到的项，/g的意识是全局(global)，这就意味着它会替换文件中所有匹配的内容

    2 当文件名传递给sed的时候，sed将输出写到stdout，如果不想把输出结果输送到stdout，而是将更改保存到原文件中可以使用-i选项 sed 's/pattern/replace_string/g' -i file  

 

4.7 按列合并文件

    1 可以使用paste命令实现按列拼接： paste file1 file2 file3

    2 默认的定界符是制表符，也可以使用-d来明确指定定界符

       paste file1 file2 -d "," // 指定定界符是","

 

4.8 打印文件或行中的第n个单词或列

    1 用下面的命令打印第五列

       awk '{print $5}' file // 这个命令将打印文件file的第五列

    2 要打印从M行到N行这个范围的所有文本，使用下面的语法

       awk 'NR==N , NR==M' file

    3 命令tac可以做到逆序打印文件

       seq 5 | tac // 这个命令将输出5 4 3 2 1

       tac file // 这个命令将逆序打印处文件file

    4 用awk实现head和tail还有tac 

       awk 'NR <= 10' file // 这个命令默认打印处文件file的前10行

       awk '{buffer[NR%10]=$0}END{for(i=1;i<11;i++)print buffer[i%10]} file // 这个命令默认打印文件file的最后10行

       awk '{buffer[NR]=$0}END{for(i=NR;i>0;i--)print buffer[i]}' file // 这个命令默认打印逆序打印出文件file