目录
一、sort 命令
- sort ：以行为单位对文件内容进行排序，默认按首字母大小进行升序排序；也可以根据不同的数据类型来排序。
语法格式：
sort [选项] 参数
cat filename | sort [选项]
常用选项：
| 常用选项 | 功能 |
|---|---|
| -f | 忽略大小写（默认小写在前面，-f 后大写在上面） |
| -b | 忽略每行前面的空格 |
| -n | 按照数字大小进行排序 |
| -r | 反向排序（降序排序，默认升序排序） |
| -u | 等同于uniq，表示相同的数据仅显示一行 |
| -t | 指定字段分隔符，默认使用[Tab]键分隔 |
| -k | 指定排序字段 |
| -o <输出文件> | 将排序后的结果转存至指定文件 |
#-t -k 选项使用
#以: 进行分割,指定第三个字段进行排序
cat /etc/passwd | sort -n -t ':' -k 3
将分割排序后的结果输出到 ./passwd.txt 文件中
sort -n -t ':' -k 3 /etc/passwd -o ./passwd.txt
再如：统计 /usr 目录下，第一层的文件大小，并按照大小进行排序
二、uniq 命令
- uniq 用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用
- 注意：只能去除连续重复的行
常用选项:
| 选项 | 说明 |
|---|---|
| -c | 进行计数，并删除文件中重复出现的行 |
| -d | 仅显示重复行 |
| -u | 仅显示出现一次的行 |
多会与sort命令配合使用，先 sort 再 uniq
三、tr 命令
- 常用来对来自标准输入的字符进行 替换、压缩和删除
语法格式：tr [选项] [参数]
常用选项：
| 选项 | 作用 |
|---|---|
| -c | 只保留字符集1的字符，其他的字符用（包括换行符 \n）字符集2替换 |
| -d | 删除所有属于字符集1的字符 |
| -s | 将重复出现的字符串压缩为一个字符串；用字符集2 替换 字符集1 |
| -t | 字符集2 替换 字符集1，不加选就是默认该选项。 |
参数：
- 字符集1：指定需要转换或删除的原字符集。
当执行转换操作时，必须使用参数 “字符集2” 指定转换的目标字符集。
但执行删除操作时，不需要参数 “字符集2” ； - 字符集2：指定要转换成的目标字符集。
3.1 基本用法
比如把一个字符中的小写字母替换成大写字母：
去掉空行 cat aa.txt | tr -s '\n'
补充: 查看文件中非空行：cat testfile | grep -v "^$"
3.2 扩展用法
for 循环默认识别 空格 /t退格 和 换行符，
我们之前用 IFS=$IFS: 来遍历 $PATH 中定义的路径，
现在我们可以用 tr 来操作后，把结果放到一个文件中，再去遍历这个文件即可。
3.3 删除^M字符
前提：当我们从Windows 文件中拖进来一个文件后，如果原文件中有回车符，name在Linux中查看这个文件，回车会被识别成 ^M，Linux 中不识别这个字符，所以需要替换。
或者使用工具 dos2unix 自动帮我们转换不识别的字符：
yum install -y dos2unix
dos2unix 文件名
3.4 数组排序小实验
或者在脚本里写：
#！/bin/bash
arr=(40 10 30 50 20)
echo ${arr[@]} | tr " " "\n" | sort -n > list
j=0
for i in `cat list` #list 是个文件
do
arr[$j]=$i
let j++
done
echo ${arr[@]}
四、cut 命令
- cut命令用来 显示行中的指定部分，删除文件中指定字段
语法格式:
cut 选项 参数
cat file l cut 选项
常用选项:
| 选项 | 参数 |
|---|---|
| -f | 通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符 |
| -d | "TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符 |
--complement | 此选项用于排除所指定的字段 |
--output-delimiter | 更改输出内容的分隔符 |
过滤多个字段
grep '/bin/bash' /etc/passwd | cut -d ':' -f 1-4,6,7
截取字符串的几种方法
五、正则表达式
正则表达式通常用于判断语句中，用来检查某一字符串是否满足某一格式。
- 正则表达式是由 普通字符 与 元字符 组成
- 普通字符包括大小写字母、数字、标点符号及一些其他符号
- 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式。
5.1 基础正则表达式元字符
支持的工具命令：grep、egrep、sed、awk
基础正则表达式常见元字符：
\ ：转义字符，用于取消特殊符号的含义，例：\!、\n、\$、\{、\}等
^ ：匹配字符串开始的位置，例：^a、^the、^#、^[a-z]
$ ：匹配字符串结束的位置，例：word$、^$匹配空行
. ：匹配除\n之外的任意的一个字符，例：go.d、g..d
* ：匹配前面子表达式0次或者多次，例：goo*d、go.*d
[list] ：匹配list列表中的一个字符，例：go[ola]d，[abc]、[a-z]、[a-z0-9]、[0-9]匹配任意一位数字
[^list] ：匹配任意非list列表中的一个字符，例：[^0-9]、[^A-Z0-9]、[^a-z]匹配任意一位非小写字母
\{n\} ：匹配前面的子表达式n次，例：go\{2\}d、'[0-9]\{2\}'匹配两位数字
\{n,\} ：匹配前面的子表达式不少于n次，例：go\{2,\}d、'[0-9]\{2,\}'匹配两位及两位以上数字
\{n,m\} ：匹配前面的子表达式n到m次，例：go\{2,3\}d、'[0-9]\{2,3\}'匹配两位到三位数字
注：egrep、awk使用{n}、{n,}、{n,m}匹配时“{}”前不用加“\”
5.2 扩展正则表达式
支持的工具命令：egrep（grep -E）、awk
扩展正则表达式元字符：
+ ：匹配前面子表达式1次以上，例：go+d，将匹配至少一个o，如god、good、goood等
? ：匹配前面子表达式0次或者1次，例：go?d，将匹配gd或god
() ：将括号中的字符串作为一个整体，例1：g(oo)+d，将匹配oo整体1次以上，如good、gooood等
| ：以或的方式匹配字条串，例：g(oo|la)d，将匹配good或者glad
测试
5.3 实验一 匹配电话号码
匹配文件中的内容：phonenum.txt
要求：
以025 或 (025) 开头
号码长度为8位
号码只能以5或8开头
区号025与号码之间可以用 空格 -
02588888888
025-5555555555
025-12345678
(025) 88551234
025 54321678
025ABC88888
01012345678
0125 12345678
方法一：
不使用扩展正则表达式元字符 ？、+、（）、| 等
grep "^(*025)*[ -]*[58][0-9]\{7\}\$" phonenum.txt
解释：
^(*025)* #(*、)* 表示匹配前面(或) 0 次或多次，即以025、(025)、((025))d 等开头的行
[ -]* #[ -]表示 匹配空格和-任意一个字符，后面跟上*，表示可以出现0次或多次
[58] #表示匹配5或8任意一个字符
[0-9]\{7\}\$ #表示有七位由0-9组成的数，且以0-9中一个数为结尾
方法二
使用扩展正则表达式元字符，必须结合 egrep 或 awk 使用，用 grep 命令无效，也可以使用 grep -E 。
egrep "^(\(?025\)?)[ -]?[58][0-9]{7}$" phonenum.txt
因为连续用两个括号，里面的要用转义符\(\)
? 表示匹配前面表达式0次或者1次，比如ab?c，将匹配ac或abc
[ -]? 表示可能是 空格，可能是-，可能啥都没有
[0-9]{7} 表示[0-9]执行其七次
使用扩展 egrep 或 grep -E {、} 和 $ 不需要使用转义符
方法三：
或者用 awk 命令
awk '/^\(?025\)?[ -]?[58][0-9]{7}$/{print $0}' phonenum.txt
#需要前后各加一个 / /，代表过滤，即 /正则表达式/{print ${0}}
5.4 匹配邮箱号
邮箱的结构： 用户名@子域名.顶级域名
首先匹配用户名
^([a-zA-Z0-9_-\.]{6,})@
用户名可以是【 大小写字母 数字 . - _ ！ # 】
且用户名不小于6位
子域名
任意长度
[a-zA-Z0-9_-\.]+
+ 表示前面可以出现一次及以上
顶级域名长度一般为2-5，.要加转义符
\.([a-zA-Z]{2,5})$
操作：
[root@localhost ~]# cat emailname.txt
dawdawddawd
304350406@qq.com
4654654@@dddd
1876266@163.com
6576576qq.com
138355@sinacom
4_5.54A-D@google.com
66_.!#54A-D@google.com
duanbao@qq.com.cn
egrep "^([0-9a-zA-Z_-\.\#\!]{6,})@([a-z0-9A-Z_-\.]+)\.([a-zA-Z]{2,5})$" emailname.txt
#用户名最少为6位，_下划线最好放在特殊字符的前面，不然会有问题
#用@隔开 用户名与子域
#顶级域为 2-5 个字符
#测试(.*)用的,表示任意位字符
egrep "^([0-9])(.*)@([a-z0-9A-Z\.]+)\.[a-zA-Z]{2,5}$" emailname.txt
#以0-9中一位开头的，到@之间任意字符的。。。。。。
六、eval 命令
- eval 用于shell 在执行命令行之前 扫描两次；
- 用于重新运算求出参数的内容后进行输出
- 如下图会执行两次 echo命令
- 该命令适用于那些一次扫描无法实现其功能的变量。该命令可以对变量进行两次扫描。
- 命令前加上 eval 时，shell 就会在执行命令之前扫描它两次；eval命令将首先会先扫描命令行进行所有的置换，然后再执行该命令。
也可以执行多次, 重新运算三次 echo 命令
eval echo "aaa";ls;ll
769
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
