目录
1.概述
正则表达式,又称规则表达式。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。
1.1 基础元字符
\ :转义字符,用于取消特殊符号的含义,如:\!、\$
^ :匹配字符串开始的位置,如:^root 匹配以root开头的行,
$ :匹配字符串结束的位置,如:world$匹配以world结尾的行
. :匹配除\n外的任意一个字符
* :匹配前面的子表达式0次或者多次
[ ] : 匹配[ ]中的一个字符,如:[0-9]匹配任意一个数字
[^] :匹配不在[ ]中的任意一个字符,如:[^0-9]匹配任意一个非数字字符
\{n\} :匹配前面子表达式n次,如:[0-9]\{2\}匹配两位数字
\{n,m\} :匹配前面的子表达式n到m次,如:[a-z]\{2,3\}表示匹配两到三位小写字母
\{n,\} :匹配前面的子表达式不少于n次,如:[0-9]\{2,\}表示两位及两位以上数字
\< : 匹配以……开头的行
\> : 匹配以……结尾的行
\<……\> : 匹配某一个单词的行
1.2 拓展元字符
+ :匹配前一个字符1个或多个,如:go+d,将匹配至少一个o
? :匹配0个或1个字符,如:go?d,将匹配到gd或god
| :或
() : 将括号中的字符串作为一个整体
{n} : 前一个字符重复n次
{n,} : 前一个字符至少重复n次
{n,m} : 前一个字符出现n-m次
2.grep+egrep
grep是一种强大的文本搜索工具,它能使用特定模式匹配(包括正则表达式)搜索文本,并默认输出匹配行。Unix的grep家族包括grep、egrep和fgrep
linux使用GNU版本的grep。它功能更强,它也可以通过-E命令行选项来使用egrep功能
grep -v “text” :过滤掉包含text的内容查看剩下的文件内容
grep “text” :查看文件中包含text的行
grep “^q” :查看文件中以q开头的内容
grep “g$” :查看以g结尾的文件内容
grep “q*” :这里*代表前面一个字母出现0次或多次
grep -v “^$” :过滤掉文件里的空行
grep “[rR]oot” :[]里表示R或r的字母,相当于查找包含root或Root的文件内容
grep -E “^root|Root$” 文件 :-E代表引入正则,这里的|代表或的意思,这条命令表示查找以root开头Root结尾的文件内容
grep -E也可以直接写egrep
grep -c :显示有几行
grep -w “text” :只找text这个单词的文件内容
grep -i :忽略大小写查看文件内容
grep -o “text” :只以行显示text这个字符
3. sed
sed(Stream EDitor)是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等),最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作,被广泛应用于 Shell 脚本中,用以完成各种自动化处理任务。
sed 的工作流程主要包括读取、执行和显示三个过程。
读取:sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
执行:默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所有的行上依次执行。
显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。
常用选项:
-e 进行多次编辑
-n 取消默认输出
-f 指定sed文件名
-i 直接在源文件中修改
-r 使用扩展正则表达式
常用操作:
p 打印输出
d 删除指定行
c 替换指定行所有内容
s 搜索替换
g :表示只要符合条件,全部进行处理
r :可以将另一个文件内容读取到文件中
w :可以将另一个文件内容覆盖到文件中
i :插入,在当前行上面插入一行或多行
a :插入,在当前行后面插入一行或多行
y :字符转换
语法格式:
sed命令+选项 ‘定位+动作+内容’ 文件名
3.1 例如打印输出:
//单引号里不指定任何操作它会把文件从第一行打印到最后一行
[root@server ~]# sed '' passwd.txt
//如果使用‘p’它会重复显示每一行,因为它默认会打印一遍,然后又得到你的指定是打印,它就又打印一遍
[root@server ~]# sed 'p' passwd.txt
//一般是结合-n 一起使用没比较清晰
[root@server ~]# sed -n 'p' passwd.txt
[root@server ~]# sed -n '2p' passwd.txt //打印第二行
[root@server ~]# sed -n '1,4p' passwd.txt //打印1-4行
[root@server ~]# sed -n '1p' passwd.txt //打印第一行
[root@server ~]# sed -n '$p' passwd.txt //打印最后一行
[root@server ~]# sed -n '/root/p' passwd.txt //打印包含root的行
[root@server ~]# sed -n '/^root/p' passwd.txt //打印以root开头的行
[root@server ~]# sed -n '/nologin/!p' passwd.txt
//打印不含有nologin的行
[root@server ~]# sed -n '/root/=;/root/p' passwd.txt
//打印root所在行的行号和内容,多个操作中间加分号隔开
[root@server ~]# sed -n '/^$/p' 文件名 //打印空行
[root@server ~]# sed -n '/ /p' 文件名 //打印有空格的行
3.2 例如添加内容:
[root@server ~]# sed -n '1a hello world' passwd.txt //在第一行后面添加一行为hello world
[root@server ~]# sed -n '3i hello' passwd.txt //在第三行前面添加一行为hello
3.3 例如删除内容:
[root@localhost ~]# sed -n '3d' passwd.txt //删除第三行
[root@localhost ~]# sed -n '2,4d' passwd.txt //删除第2到第4行
[root@localhost ~]# sed -n '$d' passwd.txt //删除最后一行
[root@localhost ~]# sed -n '/root/!d' passwd.txt //删除不包含root的行
[root@localhost ~]# sed -n '/^root/d' passwd.txt //删除以root开头的行
3.4 例如修改内容:
[root@server ~]# sed '/^root/ckgc' passwd.txt //把以root开头的行整行替换为kgc
[root@server ~]# sed '1,3ckgc' passwd.txt //把1-3行内容全部替换为kgc
3.5 例如查找替换
格式:sed 选项 ‘s/搜索的内容/替换的内容/动作’
[root@server ~]# sed -n 's/root/ROOT/p' passwd.txt //搜索root所在行把第一个出现的root换成ROOT
[root@server ~]# sed -n 's/root/ROOT/gp' passwd.txt //搜索root所在行,把所有出现的root都替换成ROOT
[root@server ~]# sed -n '1,5s/^/#/gp' /etc/passwd//1-5行开头插入#号
[root@server ~]# sed -n 's/^#/hello world /gp' passwd.txt//把#号开头的行的#号换成hello world
//搜索以sync开头的行并且前面加#号,那就需要保留sync,那就要把搜索的字符写成&就会被保留不会一起替换,观察不加&的区别
[root@server ~]# sed -n 's/^sync/#&/gp' passwd.txt
#sync:x:5:0:sync:/sbin:/bin/sync
[root@server ~]# sed -n 's/^sync/#/gp' passwd.txt
#:x:5:0:sync:/sbin:/bin/sync
3.6 例如插入其他内容
H:复制到剪切板
g、G:将剪切板的数据覆盖/追加到指定行
w:保存为文件
r:读取指定文件
a:追加指定文件
[root@server ~]# sed '3r /etc/hosts' passwd.txt //将/etc/hosts文件插入到第三行后面
[root@server ~]# sed -n '1,5w 22.txt' passwd.txt //把1-5行内容写入到22.txt文件
[root@server ~]# sed = passwd.txt//显示行号
修改源文件的本质其实就是将-n换成-i,-i不要和‘p’同时使用,-n和-i也不要一起使用
3.7 sed脚本
要对一个文件进行多个操作,为了方便和效率,可以将要执行的sed命令逐行写进sed脚本里面,然后用sed -f来指定脚本名对指定的文件进行操作
[root@server ~]# vim test.sh
#!/bin/sed -f
s/root/ROOT/g
s/^#//g
s/\/sbin\/nologin/kgc/g
sed脚本文件第一行要声明#!/bin/sed -f
不要加单引号
每行的最后不能有空格等多余字符
#号开头为注释
一行有多个命令时用分号隔开
4. awk
awk本身是一种编程语言,主要用于unix/linux里对文本进行处理,也是一个工具。awk处理数据也是逐行扫描文件,从第一行到最后一行,寻找匹配特定模式的行,在这些行上进行你所要的操作,如果没有处理动作,它也会显示到标准输出(屏幕)如果没有指定模式,那么对所有的行进行处理。我们现在所用的awk其实是gawk
4.1 格式:
格式 :awk 选项 命令部分
awk '{print}' 文件名 :打印文件所有内容
awk '{print "'$变量名'"}' :引入awk外部变量
4.2 内建变量:
NF :显示列数
NR :显示行号
$0 :处理整行内容
$n :这里n是一个数字,表示处理第n列内容
FS :指定分隔符
OFS :指定输出时文本列之间的连接符
RS :指定每行之间的分隔,如:RS : ,表示在冒号那里就会分行
ORS :指定每行之间连接型
RS是记录分割,默认是按换行符为一行内容的,而FS是以字段分割,注意区别!
RS意思是遇见谁就把它当做一行的分隔符,然后输出内容
ORS意思是本来每一行的分隔符是换行符,现在不想以换行符当做一行的分割,想以空格当每一行的间隔,那么ORS=“ ”就可以了
花括号里print后面要跟变量,如果不是变量其他任何字符都需要用双引号引起来,你想打印什么它就会输出什么花括号里print后面要跟变量,如果不是变量其他任何字符都需要用双引号引起来,你想打印什么它就会输出什么
[root@server ~]# awk -F: '{print $1}' passwd.txt //以冒号分隔,打印第一列内容
[root@server ~]# awk -F: '{print $1,$2}' passwd.txt //以冒号分隔,打印第一列和第二列内容
[root@localhost ~]# awk -F: '{print $1"hhh"$2}' passwd.txt //用引号引起可以输出常量
[root@server ~]# awk BEGIN'{FS=":";OFS="--"} {print $1,$2}' passwd.txt
//以冒号分隔,字段输出符为–,打印第一列和第二列
[root@localhost ~]# awk -F: '{print NF}' passwd.txt //以冒号为分隔符查看每行有多少列
[root@localhost ~]# awk -F: '{print $NF}' passwd.txt
// NF前加$表示显示最后一列,可以理解为先NF显示每行的列数,然后以这列数打印,就相当于打印每行的最后一列
[root@localhost ~]# awk -F: '{print NR}' passwd.txt //打印行数
[root@localhost ~]# awk -F: '{print NR,$0}' passwd.txt //显示行号打印所有内容
[root@localhost ~]# awk '(NR%2)==1{print}' passwd.txt //输出奇数行
[root@localhost opt]# awk 'BEGIN{RS=""};END{print NR}' passwd.txt
//统计以空行分隔的文本段落数
[root@server ~]# awk -F: '{printf "%-15s %-10s %-15s\n",$1,$2,$3}' passwd.txt //打印第一列第二列和第三列并对齐
printf默认是不换行的,所以要加上\n
%s表示字符类型,%d表示数值类型,%f表示浮点型
%-15s表示字符输出宽度一共15个字符,不足用空格不足到15位。
-表示左对齐,默认不加是右对齐
这样做的方式是可以使格式对齐
4.3 进行条件匹配
[root@localhost ~]# awk -F: '/^bin/{print}' pp.bak //打印以bin开头的
[root@localhost ~]# awk -F: '/bin/{print}' pp.bak //打印包含bin的
[root@localhost ~]# awk -F: '$1~/bin/{print $NF}' pp.bak
//模糊匹配第一列里含bin的行并打印其最后一列,在~前面加!表示不匹配含bin的行
[root@localhost ~]# awk 'NR<3 || NR>5{print NR,$0}' pp.bak //打印行号小于3或大于5的行
[root@localhost ~]# awk 'NR>3 && NR<6{print NR,$0}' pp.bak //打印行号大于3且小于6的行
[root@localhost ~]# awk -F: '{if($3<4){print $0}}' pp.bak //如果第三列的uid小如4就打印
4.4 进行运算
[root@localhost ~]# awk 'BEGIN{print 1+1}'
2
[root@localhost ~]# awk 'BEGIN{print 2^3}'
8
[root@localhost ~]# awk 'BEGIN{print 2/3}'
0.666667
[root@localhost ~]# awk 'BEGIN{x=2;x++;print x}'
3
4.5 awk 与sed 的区别
sed操作指令置于’'中,awk比sed多一个{}
sed[选项] '操作' 参数
awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2
一般输出关于段,列的信息使用awk,其他的使用sed或grep更加方便
awk输出的奇偶行都使用绝对路径
sed输出的奇偶行都使用相对路径
使用awk调用shell命令,统计数量时,n是个变量,可自定义
若没有定义n的初始值,则n=0
awk判断条件中双引号之间的内容,如果有特殊符号不需要使用转义符
FS在{}中间使用,F在{}外面使用
5. sort 工具
sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序
格式:
sort [选项] 参数
参数:
-f:忽略大小写
-b:忽略每行前面的空格
-M:按照月份进行排序
-n:按照数字进行排序
-r:反向排序
-u:等同于 uniq,表示相同的数据仅显示一行
-t:指定分隔符,默认使用[Tab]键分隔
-o <输出文件>:将排序后的结果转存至指定文件
-k:指定排序区域
详细操作:
'将/etc/passwd 文件中的账号进行排序,根据行首字母顺序排序'
[root@localhost ~]# sort /etc/passwd
'将/etc/passwd 文件中第三列进行反向排序,根据第三列第一个字符的顺序排序'
[root@localhost ~]# sort -t ':' -rk 3 /etc/passwd
'将/etc/passwd 文件中第三列进行排序,并将输出内容保存至user.txt 文件中'
[root@localhost ~]# sort -t ':' -k 3 /etc/passwd -o user.txt
[root@localhost ~]# cat user.txt
6. uniq工具
Uniq 工具在 Linux 系统中通常与 sort 命令结合使用,用于报告或者忽略文件中的重复行
格式:
uniq [选项] 参数
参数:
-c 进行计数
-d 仅显示重复行
-u 仅显示出现一次的行
详细操作:
'删除 testfile 文件中的重复行'
[root@localhost ~]# uniq testfile
'删除 testfile 文件中的重复行,并在行首显示该行重复出现的次数'
[root@localhost ~]# uniq -c testfile
'查找 testfile 文件中的重复行'
[root@localhost ~]# uniq -d testfile
7. tr工具
tr 命令常用来对来自标准输入的字符进行替换、压缩和删除,可以将一组字符替换之后变成另一组字符
格式:
tr [选项][参数]
参数:
-c:取代所有不属于第一字符集的字符
-d:删除所有属于第一字符集的字符
-s:把连续重复的字符以单独一个字符表示
-t:先删除第一字符集较第二字符集多出的字符
详细操作:
[root@localhost opt]# echo "ABC" | tr 'A-Z' 'a-z'//将大写的字母换成小写的字母
[root@localhost opt]# echo "ABC" | tr -d 'B'//删除某个字符
[root@localhost opt]# echo "ABBBBBBBBC" | tr -s 'B'
//压缩输入中的重复字符(将多个重复变成一个)