文本处理三剑客

最新推荐文章于 2023-03-20 19:36:34 发布
最新推荐文章于 2023-03-20 19:36:34 发布
阅读量143 收藏
点赞数
文章标签： awk 操作系统 开发工具
原文链接：http://www.cnblogs.com/ajunyu/p/10894083.html
版权

1. 文本处理三剑客

命令

描述

grep

默认不支持扩展表达式，加-E 选项开启 ERE。如果不加-E 使用花括号要加转义符\{\}

egrep

支持基础和扩展表达式

awk

支持 egrep 所有的正则表达式

sed

默认不支持扩展表达式，加-r 选项开启 ERE。如果不加-r 使用花括号要加转义符\{\}

 

2. sed详解

2.1  概述

　　我们都知道，在Linux中一切皆文件，比如配置文件，日志文件，启动文件等等。如果我们相对这些文件进行一些编辑查询等操作时，我们可能会想到一些vi,vim,cat,more等命令。但是这些命令效率不高，而在linux中有三种工具：顶配awk，中配sed，标配grep。使用这些工具，我们能够在达到同样效果的前提下节省大量的重复性工作，提高效率。

　　文件内容可以是来自文件，也可以直接来自键盘或者管道等标准输入，最后的结果默认情况下是显示到终端的屏幕上，但是也可以输出到文件中。

　　编辑文件也是这样，以前我们修改一个配置文件，需要移动光标到某一行，然后添加点文字，然后又移动光标到另一行，注释点东西.......可能修改一个配置文件下来需要花费数十分钟，还有可能改错了配置文件，又得返工。这还是一个配置文件，如果数十个数百个呢？因此当你学会了sed命令，你会发现利用它处理文件中的一系列修改是很有用的。只要想到在大约100多个文件中，处理20个不同的编辑操作可以在几分钟之内完成，你就会知道sed的强大了。

　　sed操作之前一定要备份文件；

　　sed操作推荐使用单引号，awk亦是如此。

 

2.2 语法格式

　　sed  [选项]  [sed命令]  [输入文件]

　　说明： 

　　注意sed软件以及后面选项，sed命令和输入文件，每个元素之间都至少有一个空格。 

　　sed -commands(sed命令)是sed软件内置的一些命令选项，为了和前面的options（选项）区分，故称为sed命令 

　　sed -commands 既可以是单个sed命令，也可以是多个sed命令组合。

　　input -file (输入文件)是可选项，sed还能够从标准输入如管道获取输入。

 

2.3 sed的工作原理

　　sed读取一行，首先将这行放入到缓存中，然后，才对这行进行处理，处理完成以后，将缓冲区的内容发送到终端。存储sed读取到的内容的缓存区空间称之为：模式空间（Pattern Space）

 

2.4 选项

选项

说明

-n(no)

取消默认的sed软件的输出，常与sed命令的p连用。

-e(entry)

一行命令语句可以执行多条sed命令

-r(ruguler)

使用扩展正则表达式，默认情况sed只识别基本正则表达式

-i(inside)

直接修改文件内容，而不是输出到终端，如果不使用-i选项sed软件只是修改在内存中的数据，并不会影响磁盘上的文件*

 

2.5 sed命令

sed-command

说明

a (append)

追加，在指定行后添加一行或多行文本

c (change)

取代指定的行

d (delete)

删除指定的行

i (insert)

插入，在指定行前添加一行或多行文本

p (print)

打印模式空间内容，通常p会与选项-n一起使用

特殊符号

说明

！

对指定行以外的所有行应用命令（取反）

 

2.5 sed增删改查

1) 增

　　2个sed命令，分别是：

　　“a”： apend，追加，追加文本到指定行后。

　　“I”： insert，插入，插入文本到指定行前。

#在第一行后面追加3行，不加-i不改变源文件
[root@localhost ~]# sed "1a 1\n2\n3\n" test
root:x:0:0:root:/root:/bin/bash
1
2
3
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#在行首添加一行
[root@localhost ~]# sed "1i 1234" test
1234
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

2）删

　　这个功能也是非常得有用，比如我们想删除文件中的某些行，以前最常用的是vi或vim命令，但现在我们知道了sed命令，就应该使用这个高逼格的命令完成任务了。

　　“d”：delete，删除，删除文本。

　　sed软件可以对单行或多行文本进行处理。如果在sed命令前面不指定地址范围，那么默认会匹配所有行。

　　sed中使用单引号。

#从第1行起删除1行
[root@localhost ~]# sed "1d" test
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#删除1-3行
[root@localhost ~]# sed "1,3d" test
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#删除全文
[root@localhost ~]# sed "d" test
[root@localhost ~]# 

#删除匹配到root的行
[root@localhost ~]# sed "/root/d" test        #/ /表示匹配范围，而且支持正则
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 
#支持正则：删除以bin开头的行
[root@localhost ~]# sed "/^bin/d" test
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#删除第3行到末尾行
[root@localhost ~]# sed '3,$d' test           #注意是单引号
root:x:0:0:root:/root:/bin/bash 
bin:x:1:1:bin:/bin:/sbin/nologin


#删除1-3行以外的行（取反）
[root@localhost ~]# sed '1,3!d' test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

 

 3）改

　　“c”:用新行取代旧行，记忆方法：c的全拼是change，意思是替换。

#将第一行替换为 this is zxj
[root@localhost ~]# sed '1c this is zxj' test
this is zxj
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

4）文本替换

　　使用sed软件80%的场景是使用替换功能

　　选项：

　　　　“s”：单独使用-->将每一行中第一处匹配的字符串进行替换==>sed命令
　　　　“g”：每一行进行全部替换-->sed命令s的替换标志之一（全局替换），非sed命令。
　　　　“-i”：修改文件内容-->sed软件的选项，注意和sed命令i区别。

 

　　替换模型：

　　　　sed -i 's/目标内容/替换内容/g'  ken.log
　　　　sed -i 's#目标内容#替换内容#g'

#将root替换为zxj
[root@localhost ~]# sed 's/root/zxj/' test
zxj:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 
#将所有的root替换为zxj
[root@localhost ~]# sed 's/root/zxj/g' test
zxj:x:0:0:zxj:/zxj:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin


#确认无误将源文件替换（-i）
[root@localhost ~]# sed  -i 's/root/zxj/g' test
[root@localhost ~]# cat test
zxj:x:0:0:zxj:/zxj:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#匹配以zxj开头的行，将该行所有的zxj替换为root
[root@localhost ~]# sed -i '/^zxj/{s/zxj/root/g}' test
[root@localhost ~]# cat test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

5）查

　　这个功能也是非常得有用，比如我们想查看文件中的某些行，以前最常用的是cat或more或less命令等，但这些命令有些缺点，就是不能查看指定的行。而我们用了很久的sed命令就有了这个功能了。而且我们前面也说过使用sed比其他命令vim等读取速度更快！

这里我们需要用到1个sed命令

　　“p”： print，打印，输出指定内容，但默认会输出2次匹配的结果，因此使用-n选项取消默认输出。

#显示第2行（包括模式空间文件）
[root@localhost ~]# sed '2p' test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 

#-n与p连用，不显示缓存文件，只显示第2行
[root@localhost ~]# sed -n '2p' test
bin:x:1:1:bin:/bin:/sbin/nologin
[root@localhost ~]#

 

6> sed用法总结 

1）查找指定的字符串

　　例子：显示/etc/passwd中包含root的行(显示模式空间中的内容)

　　方法1：set '/root/p' /etc/passwd

　　方法2：cat /etc/passwd | sed '/root/p'

2）在指定的位置做增删

　　例子：删除以root为开头的行

　　# sed '/^root/d' a.txt

　　例子：在包含root的行后添加一行 i am ken

　　# sed '/root/a i am ken' a.txt

3）按行替换

　　例子：将5到9行的内容替换为 i am ken

　　# sed '5,9c i am ken' a.txt

 4）按照字符替换

　　例子：将/etc/selinux/config中的SELINUX=enforcing改成 disabled

　　写法1：# sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' config

　　写法2：# sed -r -i 's/(SELINUX=)disabled/\1enforcing/g' config

5）查找指定的内容再做替换

　　例子：将以r开头的行中的oo替换为qq

　　# sed '/^r/{s/oo/qq/g}' passwd

 6）多点编辑

　　例子：去除文件中的注释行和空白行

　　# grep -v -E "(^#)|(^$)" passwd.bak >passwd

　　# cat passwd.bak | sed -e '/^#/d' -e '/^$/d' >passwd

#源文件
[root@localhost ~]# cat test
#root:x:0:0:root:/root:/bin/bash
#root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
#bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

 

#bin:x:1:1:bin:/bin:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin


#删除以#开头的行和空行。有几条命令写几个-e
[root@localhost ~]# sed -i -e '/^#/d' -e '/^$/d' test
[root@localhost ~]# cat test
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

 7）取反操作

　　显示非1-3行

　　# sed -n '1,3!p' passwd

3. awk详解

　　awk不仅仅是 linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告（excel）。处理的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。

3.1  awk格式

　　awk指令是由模式，动作，或者模式和动作的组合组成。

　　模式既pattern，可以类似理解成sed的模式匹配，可以由表达式组成，也可以是两个正斜杠之间的正则表达式。比如NR==1，这就是模式，可以把他理解为一个条件。

　　动作即action，是由在大括号里面的一条或多条语句组成，语句之间使用分号隔开。比如awk使用格式：

　　awk处理的内容可以来自标准输入（<），一个或多个文本文件或管道。

　　pattern既模式，也可以理解为条件，也叫找谁，你找谁？高矮，胖瘦，男女？都是条件，既模式。

　　action既动作，可以理解为干啥，找到人之后你要做什么。

3.2  awk参数

　　-F：指定分隔符

3.3  部分概念

　　记录（record）：一行就是一个记录

　　分隔符（field separator）：进行对记录进行切割的时候所使用的字符

　　字段（field）：将一条记录分割成的每一段

　　FILENAME：当前处理文件的文件名

　　FS（Field Separator）：字段分隔符（默认是以空格为分隔符）

　　NR（Number of Rrecord）：行号，记录的编号（awk每读取一行，NR就加1）

　　NF（Number of Field）：字段数量（记录了当前这条记录包含多少个字段）

　　ORS（Output Record Separator）：指定输出记录分隔符（指定在输出结果中记录末尾是什么，默认是\n，也就是换行）

　　OFS（Output Field Separator）：输出字段分隔符

　　RS：记录分隔符

 

3.4  输出字段的表达方式

　　$1 $2 ... $n 输出一个指定的字段

　　$NF 输出最后一个字段

　　$0 输出整条记录

 

3.5  awk的执行过程

#打印出整条记录的行号，{}；里面是执行的命令
[root@localhost ~]# sed -i '1i this is zxj' test           #添加一行
[root@localhost ~]# cat test
this is zxj
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost ~]# cat test | awk '{print NR,$o}'         #打印行号，指定整段
1 this is zxj
2 root:x:0:0:root:/root:/bin/bash
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost ~]# cat test | awk '{print NR}'            #没有$0，只打印行号
1
2
3
4
5
 
#只打印第二行
[root@localhost ~]# cat test | awk 'NR==2{print $0}'
                 #找谁，要干什么；找到第2行，找到后将第2行整段打印出来。注意是==而不是=
root:x:0:0:root:/root:/bin/bash 

#打印2到4行
[root@localhost ~]# cat test | awk 'NR>=2&&NR<=4{print $0}'    #与
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
 
#只打印2和4行
[root@localhost ~]# cat test | awk 'NR==2||NR==4{print $0}'
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@localhost ~]# cat test | awk 'NR==2||NR==4{print NR,$0}'  #带行号
2 root:x:0:0:root:/root:/bin/bash
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@localhost~]# awk 'NR>=2&&NR<=5{print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin


　　命令说明： 条件NR>=2,表示行号大于等于2时候，执行{print $0}显示整行。 awk是通过一行一行的处理文件，这条命令中包含模式部分（条件）和动作部分（动作），awk将处理模式（条件）指定的行。

　　1）awk读入第一行内容

　　2）判断是否符合模式中的条件NR>=2

　　a，如果匹配则执行对应的动作{print $0}
　　b，如果不匹配条件，继续读取下一行

　　3）继续读取下一行                                  
　　4）重复过程1-3，直到读取到最后一行（EOF：end of file）

 

3.5 awk进阶—正则

　　正则表达式的运用，默认是在行内查找匹配的字符串，若有匹配则执行action操作，但是有时候仅需要固定的列来匹配指定的正则表达式，比如：我想取/etc/passwd文件中第五列{$5}这一列查找匹配mail字符串的行，这样就需要用另外两个匹配操作符，并且awk里面只有这两个操作符来匹配正则表达式。

  

#awk支持正则匹配
[root@localhost ~]# awk '/^root/' test                    #匹配root开头的行
root:x:0:0:root:/root:/bin/bash
[root@localhost ~]# awk '/^root/{print NR,$0}' test       #打印出以root开头的行
2 root:x:0:0:root:/root:/bin/bash
[root@localhost ~]# awk '$0~/^root/{print NR,$0}' test    #~表示要申明使用正则，在$0整行里匹配以root开头的行，若匹配到则将其打印出来
2 root:x:0:0:root:/root:/bin/bash
 
#只打印以/分割的第四字段（最后一个字段）
[root@localhost ~]# awk -F "/" '{print $4}' test
bash
nologin
nologin
sbin
lpd:
sync
shutdown
halt
mail:
nologin

#取出以bash结尾的行中的bash
[root@localhost ~]# head /etc/passwd > test               #准备文件
[root@localhost ~]# cat test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
[root@localhost ~]# awk -F "/" '/bash$/{print $NF}' test  #找到bash，以bash结尾$NF表示最后一个字段
bash
[root@localhost ~]# awk -F "/" '/bash$/{print $4}' test   #同理，以/分割的第4个字段（最后一个字段），为bash的行，打印出
bash
 
#指定打印第7行第四列
[root@localhost ~]# awk -F ":" 'NR==2{print $NR}' test
x
 
#打印出/etc/passwd中的用户和用户类型（第一列和最后一列）
[root@localhost ~]# awk -F ":" '{print $1,$NF}' /etc/passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
…………

#取出网卡ip
#方法一：
[root@localhost ~]# ip a | grep 'global'                  #取出该行
    inet 192.168.16.5/24 brd 192.168.16.255 scope global ens33
[root@localhost ~]# ip a | grep 'global' | awk -F " " '{print $2}'
192.168.16.5/24                                           #空格分割取出ip段
[root@localhost ~]# ip a | grep 'global' | awk -F " " '{print $2}' |  awk -F "/" '{print $1}'         # /分割取出ip
192.168.16.5

#方法二：
[root@localhost ~]# ip a | grep "global" | awk -F "( +)|(/)" '{print $3}'   #分组，以空格和/分割的第三部分
192.168.16.5

 

3.6 awk特殊模式—BEGIN模式和END模式

　　BEGIN模块在awk读取文件之前就执行，一般用来定义我们的内置变量（预定义变量，eg:FS，RS)

　　需要注意的是BEGIN模式后面要接跟一个action操作块，包含在大括号内。awk必须在输入文件进行任何处理前先执行BEGIN里的动作（action）。可以不要任何输入文件，就可以对BEGIN模块进行测试，因为awk需要先执行完BEGIN模式，才对输入文件做处理。BEGIN模式常常被用来修改内置变量ORS，RS，FS，OFS等值。

1）BEGIN模式

[root@localhost ~]# cat test | awk -F ":" 'BEGIN{print"userinfor,shelltype"}{print $1,$NF}'
userinfor,shelltype                   #先执行BEGIN模块，再执行awk读取文件
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin

#用awk取ip第三种方法：
[root@localhost ~]# ip a | grep "global" | awk 'BEGIN{FS="( +)|(/)"}{print $3}'        #awk先执行BEGIN模块，FS表示字段分割符，以空格和/进行分割的第三部分，省去选项-F
192.168.16.5

 

2）END模式

　　END在awk读取完所有的文件的时候，再执行END模块，一般用来输出一个结果（累加，数组结果），也可以是和BEGIN模块类似的结尾标识信息

　　与BEGIN模式相对应的END模式，格式一样，但是END模式仅在awk处理完所有输入行后才进行处理。

#END作用与BEGIN相反
[root@localhost ~]# cat test | awk -F ":" '{print $1,$7}END{print "end of file"}'
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
end of file                            #执行完awk后再打印end of file


#统计包含root的行数
[root@localhost ~]# cat test | awk 'BEGIN{i=0}/root/{i++}END{print i}'
   #先执行BEGIN，赋值变量i=0，再匹配root的行，匹配到一次i+1，执行完所有模块再输出总次数
2
#BEGIN默认值为0，可以不定义变量初始值
[root@localhost ~]# cat test | awk '/root/{i++}END{print i}'
2

BEGIN和END后面必须加操作（anction）

 

3.7  总结awk执行过程

　　回顾一下awk的结构

　　awk -F 指定分隔符 ‘BRGIN{}END{}’，如下图

 

3.8  awk数组

　　数组构成：

　　数组名[元素名]=值

 

　　如图不难发现，awk数组就和酒店一样。数组的名称就像是酒店名称，数组元素名称就像酒店房间号码，每个数组元素里面的内容就像是酒店房间里面的人。

#统计域名出现的次数
#准备文本文件
[root@localhost ~]# cat test
[root@ken ~]# cat test
http://www.qq.com/ken
http://www.qq.com/ken
http://www.qq.com/ken
http://www.qq.com/ken
http://www.qq.com/ken
http://www.qq.com/ken
http://www.qq.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.sina.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
http://www.taobao.com/ken
[root@localhost ~]# cat test  | awk -F "/+" '{print $2}'                                 #取出域名，以/ 分割分割时/不止一个，有两个在一块儿的（多个）
www.qq.com
www.qq.com
www.qq.com
www.qq.com
www.qq.com
www.qq.com
www.qq.com
www.sina.com
……..

[root@localhost ~]# cat test | awk -F "/+" '{zxj[$2]++}END{for (i in zxj){print i,zxj[i]}}'       #定义数组名为zxj，元素值为分割后的第二组，即域名每次找到相同的域名数组值加1。
 1
www.sina.com 13
www.qq.com 7
www.taobao.com 25

 

3.9 awk用法总结

　　1） 结合内置变量，打印指定的几行，以及字段数量

　　例子；输出有多余5个字段的行的第三个字段

　　　　# cat a.sh | awk -F ":" 'NF>=5{print $3}'

　　例子：输出每行行号和该行有几个字段

　　　　# cat a.sh | awk -F ":" '{print NR,NF}'

 

　　例子：输出用户名，要求所有用户显示在同一行，而且用空格分隔

　　　　# cat mypwd | awk 'BEGIN{FS=":"; ORS=" "}{print $1}'

 

2） 结合正则来匹配一行或者某个字段

　　例子：输出用户名以s为开头的用户的uid

　　　　# cat mypwd | awk -F ":" '/^s/{print $}'

　　例子：输出第五个字段是以t为结尾的用户的姓名

　　　　# cat mypwd | awk -F ":" '$5~/t$/{print $1}'

 

3.）采用比较符号来进行打印指定的某些行

　　例子：实现仅仅输出3-5的内容，每行前面添加一个行号

　　　　# cat mypwd | awk 'NR>=3&&NR<=5{print NR,$1}'

　　或

　　　　# cat mypwd | awk 'NR==3,NR==5{print NR,$1}'

 

　　例子：实现仅仅输出3 和 5 和 7行的内容，每行前面添加一个行号

　　　　# cat mypwd | awk 'NR==3||NR==5||NR==7{print NR,$1}'

 

4.）END

　　例子：统计mypwd中以#开头的行有多少行

　　　　# cat mypwd | awk 'BEGIN{n=0}/^#/{n+=1}END{print n}'

 

　　统计：mypwd中，以：为分隔符，字段数量在3-5的行的数目

　　　　# cat mypwd  | awk 'BEGIN{FS=":"}NF>=3&&NF<=5{n+=1}END{print n}'

 

5）ip

　　例子：统计IP

[root@localhost]# cat url.txt | awk -F "/+" '{urls[$2]++}END{for(key in urls)print key, urls[key]}’
www.baidu.com 12
haha.baidu.com 1
ftp.baidu.com 6
mail.baidu.com 7

 

 

转载于:https://www.cnblogs.com/ajunyu/p/10894083.html

weixin_30387339
关注
Linux文本处理三剑客
小亮的博客
03-18 3201
1. grep 文本过滤(模式：pattern)工具，grep, egrep, fgrep（不支持正则表达式搜索） grep [OPTIONS] PATTERN [FILE...] --color=auto 对匹配到的文本着色显示 -v 显示不被pattern匹配到的行 -i 忽略字符大小写 -n 显示匹配的行号 -c 统计匹配的行数 -o 仅显示匹配到的字符串 -q ...
文本三剑客
u011246338的博客
03-23 711
目录文件通配符和正则表达式 文本过滤工具grep文本行编辑工具sedLinux系统中，一切皆文件。强大的文本编辑和处理工具便必不可少了，在Linux系统中，有文本处理三剑客：grep，sed，awk。文件通配符和正则表达式在进行介绍三大工具前，我们先总结一下文件通配符和正则表达式。文件通配符主要就是对文件的查找进行文件名的模糊查询，而正则表达式是对文件内的文本进行查找和匹配，之后交给工具去处理。他...
Linux 文本处理三剑客：grep、sed 和 awk
诗和远方，代码和你
08-09 2017
awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯的查找或匹配文本，sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。...
linux文本处理三剑客.txt
06-15
--color=auto:对匹配到的文本着色显示 -v:反向选择 -i:忽略字符大小写 -n:显示匹配的行号 -c:统计匹配的行数 -o:仅显示匹配到的字符串 -q:静默模式,不输出任何信息 -A#:after,后#行 -B#:before,前#行 -C#:context,...
文本处理三剑客grep、sed、awk
哭的博客
09-16 726
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用。awk 处理的工作方式与数据库类似，支持对记录和字段处理，这也是 grep 和 sed 不能实现的。sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容发送往屏幕。然后读入下行，执行下一个循环。在 awk 中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的。pattern1，pattern2 范围模式，匹配所有模式1的记录，直到匹配到模式2。$后跟数字，引用对应的字段，以逗号分隔，0 表示整个行。
Shell文本处理三剑客之sed的使用
01-08
sed 是 stream editor 的缩写，流编辑器，主要用于对标准输出或文件进行处理。 语法： stdout | sed [option] pattern command sed [option] pattern command file1 常用选项（option） # -n 只打印静默模式匹配...
Linux文本处理三剑客之grep、awk、sed
qq_44212783的博客
07-14 320
文本处理三剑客grep、awk、sed
Linux文本三剑客
qq_56999918的博客
09-11 4723
awk是一个强大的linux命令，有强大的文本格式化的能力，好比将一些文本数据格式化成专业的excel表的样式.awk更是是一门编程语言，支持条件判断、数组、循环等功能。可能有老铁会问为啥没有删除掉了,这是因为sed会按行将内容读取到内存当中我们删除的是内存当中的数据此时我们如果想要删除文件里面的内容我们可以使用-i选项就可以了。现在我们想将这个文件里面的内容显示出来但是我们不想看到看到空行，此时我们可以使用上面的组合符 ^$代表空格在使用grep的-v选项即可。我们想要拿到第二列的值。
linux文本三剑客
11-22
linux文本三剑客，兄弟做了常用的总结，平常经常用的到的参数
Linux文本三剑客(grep、sed、awk)
m0_63069714的博客
03-20 2868
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来(匹配到的标红)。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响源原文件内容。
10-文本三剑客
NetRookieX的博客
03-08 311
简介 文本三剑客：grep、sed和awk。 它们在Linux做文本处理非常强大，如文本的匹配、过滤和替换。 grep grep主要做的是字符串的匹配和过滤。 grep匹配规则 按行匹配。 从第一行匹配到最后一行。 只将匹配的行输出。 grep不改变文件内容。 示例 grep "root" /etc/passwd #匹配字符串"root" 输出： root:x:0:0:roo...
文本处理三剑客(grep、sed、awk)
雪辉博客
08-17 1300
文章目录一、grep1.1 grep简介1.2 语法与参数1.3 示例二、sed2.1 sed简介2.2 语法与参数2.3 示例三、awk3.1 awk简介3.2 语法与参数3.3 示例四、总结 一、grep 1.1 grep简介   grep是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。   grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep和fgrep都是grep的扩展，支持更多的re元字符，fg
linux命令之文本三剑客
weixin_45163798的博客
12-01 280
grep/awk/sed文本三剑客 sed 依照脚本指令来处理、编辑文本文件；用来自动编辑一个或者多个文件、简化对文件的反复操作、编写转换程序； 注意sed的操作并不会改变源文件！ sed [-hnV] [-e<script>] [-f<script文件>] [文本文件] ### 参数说明： # -h或--help 显示帮助 # -n或--quiet或--silent 仅显示处理的结果 # -V或--version 显示版本信息 # -e<script>或--expres
SHELL文本处理三剑客（sed、grep、awk）
MYS_Sunshine的博客
06-25 756
一、sed 1. 基本介绍 1）sed行编辑器 stream editor 用来操作纯 ASCII 码的文本 处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space)可以指定仅仅处理哪些行 sed 符合模式条件的处理 不符合条件的不予处理 处理完成之后把缓冲区的内容送往屏幕 接着处理下一行,这样不断重复,直到文件末尾 2）调用 sed ...
Linux有关文本处理的三剑客（grep、sed、awk）
qq_43072797的博客
05-04 578
文本三剑客文本处理三剑客grep命令：文本过滤工具sed命令：行编辑器awk命令： 文本处理三剑客 grep命令：文本过滤工具 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为"-"，则grep指令会从标准输入设备读取数据。 grep常用参数： -B num : 除了显...
Linux文本处理三剑客(grep,sed,awk)
qq_43813373的博客
11-06 2113
grep，擅长单纯的查找或匹配文本内容 sed，更适合编辑、处理匹配到的文本内容 awk，更适合格式化文本内容，对文本进行复杂处理。
文本三剑客----grep
weixin_57460495的博客
07-09 257
shell编程里文本处理3剑客 1.grep --》过滤 2.awk --》截取 --》行里的字段，一个字段代表一列 3.sed --》替换 grep、sed、awk都是使用c语言编写的程序 grep Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 是对文本进行过滤,根据一些规则匹配,查找出符号要求的行 默认不...
linux文本处理三剑客
最新发布
05-04
Linux 文本处理三剑客指的是三个经典的文本处理工具，包括： 1. grep：用于在文件中搜索指定文本模式的工具，可支持多种正则表达式。 2. sed：用于流编辑的工具，可进行文本替换、删除、插入等操作。 3. awk：一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值