shell编程之脚本工具sort、uniq、tr、cut

一、sort工具

1、常用选项

根据不同的数据类型进行排序

• 字符排序
• 数字排序

常见的语法格式

sort [选项] 参数

 
 

 
 
1

常用选项

-f: 忽略大小写 
-b:忽略每行前面的空格
-M:按照月份进行排序
-n:按照数字进行排序
-r:反向排序
-u:等同于uniq，表示相同的数据仅显示一-行
-t:指定分隔符，默认使用[Tab]键分隔
-0 <输出文件>:将排序后的结果转存至指定文件
-k:指定排序区域

 
 

 
 
1
2
3
4
5
6
7
8
9

2、实例

若不-n，默认排序方式ASCIIma
-n

cat f.txt | sort -k2

cat /etc/passwd | sort -n -t: -k3 ## 按照数字，分隔符：，第三列排序

cat /etc/passwd | sort -n -t: -k3 -o pp.txt

针对全文去重
cat y.txt | sort -u ##y.txt去重；

二、uniq工具

1、常用选项

用于报告或忽略文件中的重复行，一般于sort命令结合使用

语法
uniq [选项] 参数
常用选项
-c ：进行计数
-d ：仅显示重复行
-u ： 仅显示出现一次的行

 
 

 
 
1
2
3
4
5
6

2、实例

若想使用uniq排序，先使用sort排序使相同的在一起

-c：进行计数
cat f.txt | uniq -c ##对f.txt排序
cat f.txt | sort |uniq -c ##f.txt进行排序并计数

-d：仅显示重复行
cat f.txt | uniq -d
cat f.txt | sort |uniq -d

-u：仅显示出现一次的行；去重
who | awk ‘{print $1}’ | uniq -d

单独执行last指令，它会读取/var/log/wtmp文件，将该文件内容显示出来，包括ip地址和时间

last | awk ‘{print $1}’ | sort | uniq -d

三、tr工具

1、常用选项

对来自标准输入的字符进行替换、压缩和删除；它可以用一个字符来替换另一个字符，或者可以完全除去些字符， 也可以用它来除去重复字符

用法: tr [选项].. SET1 [SET2]
常用选项
-c:取代所有不属于第一字符集的字符
-d:删除所有属于第一字符集的字符
-s:把连续重复的字符以单独一个字符表示
-t:先删除第一字符集较第二字符集多出的字符

 
 

 
 
1
2
3
4
5
6

2、实例

cat f.txt | tr ‘a’ ‘A’ ##把f.txt文件内的a替换成A
cat f.txt | tr ‘a-z’ ‘A-Z’ ##把f.txt文件内的所有字母都替换成大写字母

cat f.txt | tr ‘a’ ’ ’ ##把f.txt文件内的a替换成空格
cat f.txt | tr ‘a’ ‘#’ ##把f.txt文件内的a替换成#

cat f.txt | tr ‘apple’ ‘APPLE’ ## 替换apple五个字符成大写字母；发现不是把apple作为单词，是针对apple中的五个字符一一对应进行替换

-s ##删除所有重复出现的字符，只保留第一个；挤压成一个
cat f.txt | tr -s ‘p’ ##
cat f.txt | tr -s ‘pr’

-d：删除所有属于第一字符集的字符
cat f.txt | tr -d ‘a’ ##删除字母a

cat f.txt | tr -d ‘\n’ ##删除回撤

cat f.txt | tr -s “’’” ‘/’ ##单引号替换成/

四、cut工具

1、常用选项

列截取工具；对列进行截取

-b:按字节截取
-c:按字符截取，常用于中文
-d: 指定以什么为分隔符截取，默认为制表符
-f: 通常和-d一起

 
 

 
 
1
2
3
4

2、实例

-b:按字节截取，中文无法截取
cat f.txt | cut -b 3 ##截取第三个字节
cat f.txt | cut -c 3

cat /etc/passwd | cut -d: -f3 ##冒号分隔，第三列

cat /etc/passwd | cut -d: -f1-3 ##冒号分隔，1-3列