shell快捷命令与正则表达式

一.高效快捷命令

1.sort命令

• 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序
• 比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

sort [选项] 参数
xxx | sort 选项

常用选项：

-n	按照数组进行排序
-r	反向排序
-u	排序后去重（表示相同的数据仅显示一行）
-t '字段分隔符' -k 字段序号	根据-t 指定的分隔符的第 k个字段进行排序
-k	指定排序字段
-o <输出文件>	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

sort -n lll.txt
################
按照数组进行排序

sort -r lll.txt
###############
反向排序

sort -u lll.txt
##########
排序后去重（表示相同的数据仅显示一行）

 2.uniq命令

• 对连续的重复行进行去重

uniq [选项] 参数
xxx | uniq 选项

 常用选项：

-c	对连续的重复行进行去重，并统计重复次数
-d	仅输出连续重复的行
-u	仅输出不连续重复的行

3.tr命令

• 用来对来自标准输入的字符进行替换、压缩和删除

tr [选项] [参数]

常用选项：

-t	tr命令的默认选项，使用 参数2 的字符替换成 参数1 的字符
-c	仅保留 参数1 的字符，其它字符（包括\n）都替换成 参数2 的字符
-s	根据 参数1 进行去重，如果有 参数2 则再用 参数2 的字符替换 参数1 的字符
-d	删除所有 参数1 的字符

4. 删除空行  

cat 文件 | grep -v "^$" 
cat 文件 | tr -s "\n"
echo -e "aa\n\n\n\n\nbb" | tr -s "\n"

 6.对数组排序  

echo ${数组名[@]} | tr ' ' '\n' | sort -rn | tr '\n' ' '

[root@localhost ~]# a=(10 20 30 60 80 90 40)
[root@localhost ~]# echo ${a[@]}
10 20 30 60 80 90 40
[root@localhost ~]# echo ${a[@]} | tr ' ' '\n'
10
20
30
60
80
90
40
[root@localhost ~]# echo ${a[@]} | tr ' ' '\n'
10
20
30
60
80
90
40
[root@localhost ~]# echo ${a[@]} | tr ' ' '\n' | sort -n
10
20
30
40
60
80
90
[root@localhost ~]# echo ${a[@]}| tr ' ' '\n' | sort -n | tr '\n' ' '
10 20 30 40 60 80 90 [root@localhost ~]# 
############
首先，定义了一个名为a的数组，包含了7个整数：10、20、30、60、80、90和40。
然后，使用echo命令输出数组a的所有元素，结果为：10 20 30 60 80 90 40。
接下来，使用tr命令将空格替换为换行符，即将数组元素分行显示。
然后，使用sort命令对分行后的数字进行升序排序。
最后，再次使用tr命令将换行符替换为空格，将排序后的数字合并为一行。

7.cut 对行内容进行字段截取

cut  参数
cat file | cut 选项

-d '分隔符' -f 字段序号	根据 -d 指定的分隔符的截取显示 -f 指定的字段
--complement	取反，不显示 -f 指定的字段
--output-delimiter '分隔符'	指定输出的字段分隔符

 

8.split命令

• linux下将一个大的文件拆分成若干小文件

语法格式

split 选项 参数 原始文件 拆分后文件名前缀

常用选项

• –l ：以行数拆分
• –b ：以大小拆分

split -l 50 /etc/passwd passwd        #以50行对文件进行拆分，最后一个文件的行数没有50行以实际行数进行分配

9.paste命令

• 用于合并文件的列

paste [-s][-d <间隔字符>] 文件...

常用选项

• -d<间隔字符> ：用指定的间隔字符取代制表符
• -s ：把多行内容合并为一行进行显示

10.eval命令

• 命令字前加上eval时，shell会在执行命令之前扫描它两次。eval命令将首先会先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。

[root@localhost ~]# echo "hello world" > file
[root@localhost ~]# myfile="cat file"
[root@localhost ~]# echo $myfile
cat file
[root@localhost ~]# eval $myfile
hello world
###################
首先，使用echo命令将字符串"hello world"重定向（>）到名为file的文件中。
然后，定义一个变量myfile，其值为"cat file"。
接着，使用echo命令输出变量myfile的值，结果为"cat file"。
最后，使用eval命令执行变量myfile的值，即执行"cat file"命令，将file文件的内容输出

二.正则表达式

1.正则表达式概述

正则表达式：通常用于判断语句中，用来检查某一字符串是否满足某一格式。

• 正则表达式是由普通字符与元字符组成.
• 普通字符包括大小写字母、数字、标点符号及一些其他符号.
• 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符或表达式)在目标对象中的出现模式.

注意：linux命令行的常用通配符有* ？ […]:匹配文件或目录名；正则表达式：用来匹配文件内容,[.\n]表示匹配所有字符.

基础正则表达式常见元字符有:（支持的工具:grep、egrep、sed、 awk )

2. 常用选项

选项	命令含义
\	转义字符，用于取消特殊符号的含义，例：!、\n、$等
^	匹配字符串开始的位置，例：^a、^the、^#、^[a-z]
$	匹配字符串结束的位置，例:word$、^$匹配空行
.	匹配除\n之外的任意的一个字符，例：go.d、g…d
*	匹配前面子表达式0次或者多次，例：goo*d、go.*d
[list]	匹配list列表中的一个字符，例：go[ola]d，[abc]、[a-z]、[a-z0-9]、[0-9]匹配任意一位数字
[^list]	匹配任意非list列表中的一个字符，例：[^0-9]、[^A-Z0-9]、[^a-z]匹配任意一位非小写字母
\{n\}	匹配前面的子表达式n次，例：go\{2\}d、'[0-9]\{2\}'匹配两位数字
\{n,\}	匹配前面的子表达式不少于n次，例：go\{2,\}d、'[0-9]\{2,\}'匹配两位及两位以上数字
\{n,m\}	匹配前面的子表达式n到m次，例：go\{2,3\}d、'[0-9]\{2,3\}'匹配两位到三位数字
注意	egrep、awk使用{n}、{n,}、{n,m}匹配时“{}”不用加“\”
\w	匹配包括下划线的任何单词字符,等价于[A-Za-z0-9_]
\W	匹配任何非单词字符,等价于[^A-Za-z0-9_]
\d	匹配一个数字字符,等价于[0-9]
\D	匹配一个非数字字符。等价于 [^0-9]
\s	空白符
\S	非空白符
扩展正则表达式元字符	（支持的工具：egrep、awk）grep -E sed -r
+	匹配前面子表达式1次以上，例：go+d，将匹配至少一个o，如god、good、goood等
?	匹配前面子表达式0次或者1次，例：go?d，将匹配gd或god
()	将括号中的字符串作为一个整体，例：g(oo)+d，将匹配oo整体1次以上，如good、gooood等
|	以或的方式匹配字符串，例：g(oo|la)d，将匹配good或者glad

正则表示中*和.的用法

• *：匹配前面的子表达式零次或多次。例如，zo*能匹配 "z" 以及 "zoo"。
• .：匹配除换行符以外的任意字符。例如，a.c可以匹配 "abc"、"aec"、"acc"等。

[root@localhost ~]# grep "do*g" dog.txt
dog
dog
dog
dog
m;dsmklmnddog
########
*: 匹配前面的字符（在这里是'o'）零次或多次。这意味着'o'可以出现一次或者不出现。

[root@localhost ~]# grep "^do*g$" dog.txt 
dog
dog
dog
dog
#########
搜索所有整行严格匹配至少一个'd'、零个或多个'o'、以及至少一个'g'的行，并将这些行输出到终端

[root@localhost ~]# egrep "do{5,8}"  dog.txt
doooooog
dooooooooooooog
doooooooooooooog
dooooog
dooooooooooooooooooooooooooooooooooog
doooooog
doooooooooog

[root@localhost ~]# egrep "do+g"  dog.txt
dog
dog
doooooog
dooooooooooooog
doooooooooooooog
dooooog
dooooooooooooooooooooooooooooooooooog
doooog
doooooog
doooooooooog
[root@localhost ~]# egrep "do?g"  dog.txt
dog
dog
[root@localhost ~]# egrep '(dog)'  dog.txt
dog
dog
[root@localhost ~]# egrep 'dog|fdog'  dog.txt
dog
dog