大数据---------linux基础 ---------02linux基本命令----------文本分析（15 16 17 18 19）

问题集锦

04中的实例4的例1 这个正则表达式中的第二层括号的作用是啥？难道是因为出现了这个？符号 ，这个符号有选择的作用？

04中的实例4的例2  关于这个正则表达式中3层括号的说明：第一层是为了反引用，第二层是为了啥？第三层是为了或运算符，并且将.隔离在第三层运算符外，从而让.不对或运算产生影响。

---

目录

---

正文

01 cut 

     作用 ：显示切割的行数据

     使用方法：cut 选项  参数

      选项：-d：自定义分隔符

                  -f ：选择显示的列

                  -s 不显示没有分割符的行

     实例：cut -d" " -f1-3 a.txt   按照空格分割为列，显示1-3列

02 sort

         作用 ：显示排序过的数据  ,排序应该分为排字典序和拍数值序

         使用方法：sort 选项 参数

         选项：-n 按数值排序

                    -r 倒序排列

                    -k 选择排序的列

                    -t 自定义分割符

                    -u

                    -f

        实例：按照字典序排序  sort a.txt 

                   按照第二列的数值序排列  sort -t" " -k2 -n a.txt

03 wc 

         作用：统计文本的字符个数，行数，字节数等

         使用方法 wc 选项 参数

         选项 ：-l 统计行数 

          实例：结合cat，管道和wc 使用。统计a.txt的行数 cat a.txt | wc -l 

04 sed 

       作用：行编辑器

       使用方法：sed 选项 "addresscommand"

       选项 ：-i 在原文件上直接修改

                  -n 静默模式 见实例1

       command：-d 符合条件的行

                      -i\string 在指定行的前面插入 

                     -a\string 在指定行的后面插入

                     -s/pattern/string/修饰符       默认只替换每一行中第一个匹配的pattern。

                            修饰符 -g 全行替换

                                       -i 忽略大小写

      address：可以没有

                      给定范围

                     查找指定行 /str/ 这里是查找功能所以应该继续用/

    实例：1显示a.txt中的第二行  命令为 sed -n "2p" a.txt   这里-n参数的作用是只显示第二行。

               2 在第二行的后面插入sxt 命令为sed "2a\sxt" a.txt  命令前面是没有- 这个符号的,参数才有。

               3 将含有sxt的行删除  sed "/sxt/d" a.txt   

               4 匹配ip地址，

                      实例4的例1 把IPADDR=192.168.149.111改为IPADDR=192.168.149.88。

                  

sed "s/(IPADDR=([0-9]?[0-9][0-9]?.){3}).*/\188/" a.txt //没有添加转义字符\的正则表达式
sed "s/\(IPADDR=\([0-9]\?[0-9][0-9]\?\.\)\{3\}\).*/\188/" a.txt //添加了转义字符\的正则表达式,需要注意的是这里的.*并没有使用转义符号，可能因为.*合起来并不需要转义吧。

               问题集锦：这个正则表达式中的第二层括号的作用是啥？难道是因为出现了这个？符号 ，这个符号有选择的作用？

                   实例4的例2  实际上实例4的例1只考虑了ip地址的格式，没有考虑ip地址的范围，比如334.192.168.111也会当做ip地址去匹配的，但是显然334.192.168.111不是ip地址。怎么来将ip地址的范围用考虑进去呢。ip地址的每一个小节的范围都是从0-255，所以我们可以把ip地址划分为一位数的，二位数的，三位数的，然后再进一步细分，可以划分为5种。以下给出具体分类。

0-9 

10-99

100-199

200-249

250-255

根据这个分类我们可以写出以下正则表达式：

sed "(IPADDR=(([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]).){3})" ifcfg-eth0

sed "s/\(IPADDR=\(\([0-9]\|[1-9][0-9]\|1[0-9][0-9]\|2[0-4][0-9]\|25[0-5]\)\.\)\{3\}\).*/\188/" ifcfg-eth0

 关于上面这个正则表达式中3层括号的说明：第一层是为了反引用，第二层是为了啥？第三层是为了或运算符，并且将.隔离在第三层运算符外，从而让.不对或运算产生影响。

05 awk 

         作用：对数据分析并生成报告

         使用格式 awk 选项 'pattern+action' filename  这里一定注意使用的是单引号，不是双引号。

         支持正则表达式

         支持自定义变量，数组，a[1],a[tom],由于tom可以是字符串，所以这里的数组可以起到map的作用，如同map{key}一样，字符串相当于这里的key

        支持内置变量 NR 即行号 

                               NF 即分割后每行的列的个数

        pattern+action :包括使用的匿名函数，

         实例1 只显示etc、passwd中的utc用户 

                   awk -F':' '{print $1}' passwd  这里$1指的是第一行。

                    相关内容 passwd中的每一列的含义

                     

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

             

           这里第一列是用户名，第二列x代表密码，第三列0代表属主id ，第四列0代表的是属组id   ，第五列用户描述，一般是用户名，第六列是用户家目录，第八列是用户登入时启动的shell。

        实例2 只显示账户和账户对应的shell，账户和shell之间用制表符隔开。       在所有行之前添加列名，shell。在最后一行添加 "blue（制表符）/bin/nosh" (cut sed) 

               awk -F':' 'BEGIN{print"name\tshell"}{print $1"\t"$7}END{print"blue\t/bin/nosh"}' passwd     

        实例3     显示passwd中含有root关键字的所有行

               awk '/root/{print $0'} passwd       注意这里 /root/{print $0}的写法      root就是要查找的内容，而{print $0}的结果就是要替换的内容。               

        实例4 显示passwd文件中，行号，列数，对应的完整行内容。

              awk -F':' '{print NR "\t" NF "\t" $0}' passwd   注意这里要给\t 加上双引号

        实例5 

统计报表：合计每人1月工资，0：manager，1：worker
Tom	 0   2012-12-11      car     3000
John	 1   2013-01-13      bike    1000
vivi	 1   2013-01-18      car     2800
Tom	 0   2013-01-20      car     2500
John	 1   2013-01-28      bike    3500

      预计统计后的结果：

  思路是这样的，先按照空格或者制表符分割，显然-F参数后面不需要加自定义的分隔符号。即awk -F awk.txt 。

                            然后 既然统计1月份的工资，那么首先应该把日期部分提取出来，即把第三列提取出来，然后利用现成的函数split对第三列按照字符 - 进行分割，并且将分割的数据存放在data数组中去。然后在加合1月份数据的时候我们可以利用自定义数组的map特性，定义一个name数组 用这样的公式来统计 即name[$1] += $5 。

这个时候的代码是这样的 

awk -F '{
    split($3,data,"-");
    if(data[2] == "01"){
    name[$1] += $5
    }
}'
END{
    for(i in name){
        print i "\t" name[i]
    }
}

                           根据题目要求我们需要输出每个人的工作，所以需要在匿名函数中加入一段逻辑判断。

最终的代码如下：

{
	split($3,data,"-");
	if(data[2] == "01"){
		name[$1] += $5
	};
	if($2 == "0"){
		role[$1] = "manager"
	}else{
		role[$1] = "worker"
	}
}
END{
	for(i in name){
		print i "\t" role[i] "\t" name[i]
	}
}

                 

最后注意 运行代码时需要加上-f 参数 英文代码需要被保存为a.sh  运行命令如下：awk -f a.sh awk.txt

 

---