Shell（3）：sort和uniq

最新推荐文章于 2023-12-18 15:45:33 发布
最新推荐文章于 2023-12-18 15:45:33 发布
阅读量286 收藏
点赞数
分类专栏： shell 文章标签： shell sort uniq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010886217/article/details/104238136
版权

一、实现功能

sort和uniq的基本用法和实例。

二、sort具体实例

原始文本

[root@hadoop shellexercise]# cat orders.csv 
3,c,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
1,B,88.25,20-May-2008
3,A,12.95,02-Jun-2008
2,C,32.00,30-Nov-2007
3,D,25.02,22-Jan-2009

1.-r 以相反的顺序来排序。

[root@hadoop shellexercise]# sort apache_access.log    
10.0.0.41 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 22 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 7 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 23 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 4 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.43 43 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 1 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 5 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 8 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
[root@hadoop shellexercise]# sort -r apache_access.log 
10.0.0.47 8 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 5 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 1 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.43 43 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 4 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 23 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 7 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 22 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -


2.-t 指定分隔符

（1）默认是空格

[root@hadoop shellexercise]# sort  apache_access.log            
10.0.0.41 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 22 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 7 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 23 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 4 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.43 43 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 1 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 5 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 8 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
[root@hadoop shellexercise]# sort -t " " -k2n apache_access.log 
10.0.0.46 1 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 4 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 5 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 7 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 8 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 12 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 22 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 23 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.43 43 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -


（2）以“，”逗号为例，按照第一列逆序排序

[root@hadoop shellexercise]# sort orders.csv 
1,B,88.25,20-May-2008
2,C,32.00,30-Nov-2007
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009
[root@hadoop shellexercise]# sort -t "," -k1nr  orders.csv     
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009
2,C,32.00,30-Nov-2007
1,B,88.25,20-May-2008

3.-n 根据字符串的数值进行排序

（1）以第一列数值进行顺序排序（其实，不加n也可以排序）

[root@hadoop shellexercise]# sort -t "," -k1n    orders.csv   
1,B,88.25,20-May-2008
2,C,32.00,30-Nov-2007
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009

（2）以第一列数值进行逆序排序

[root@hadoop shellexercise]# sort -t "," -k1r    orders.csv  
3,D,25.02,22-Jan-2009
3,c,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,A,12.95,02-Jun-2008
2,C,32.00,30-Nov-2007
1,B,88.25,20-May-2008

4.-k 指定按照第几列进行排序

[root@hadoop shellexercise]# sort orders.csv 
1,B,88.25,20-May-2008
2,C,32.00,30-Nov-2007
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009

（1）对第1列逆序，同时第2列顺序

[root@hadoop shellexercise]# sort -t "," -k1nr -k2    orders.csv 
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009
2,C,32.00,30-Nov-2007
1,B,88.25,20-May-2008

（2）对第1列逆序，同时第3列逆序

[root@hadoop shellexercise]# sort -t "," -k1nr -k3nr    orders.csv   
3,D,25.02,22-Jan-2009
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
2,C,32.00,30-Nov-2007
1,B,88.25,20-May-2008

（3）对某一列的第几个字符排序

[root@hadoop shellexercise]# sort orders.csv 
1,B,88.25,20-May-2008
2,C,32.00,30-Nov-2007
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009

（4）对第三列的第二个字符进行逆序排序8-5-2-2-2-2

[root@hadoop shellexercise]# sort -t "," -k3.2r    orders.csv          
1,B,88.25,20-May-2008
3,D,25.02,22-Jan-2009
3,A,12.95,02-Jun-2008
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
2,C,32.00,30-Nov-2007

4.其他常用命令总结

-b 忽略每行前面开始出的空格字符。
-c 检查文件是否已经按照顺序排序。
-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
-f 排序时，将小写字母视为大写字母。
-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
-m 将几个排序好的文件进行合并。
-M 将前面3个字母依照月份的缩写进行排序。
-n 依照数值的大小排序。
-u 意味着是唯一的(unique)，输出的结果是去完重了的。
-o<输出文件> 将排序后的结果存入指定的文件。
-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
--help 显示帮助。
--version 显示版本信息。

三、uniq具体实例

测试数据

[root@hadoop shellexercise]# cat testlog.txt 
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9

1.不加其他参数，uniq默认只是把相邻的相同内容去除！

[root@hadoop shellexercise]# cat testlog.txt 
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@hadoop shellexercise]# uniq testlog.txt 
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9

2.完全去重：通过sort排序配合完全去重

[root@hadoop shellexercise]# sort testlog.txt | uniq
10.0.0.7
10.0.0.8
10.0.0.9

扩展：sort直接去重
-u, --unique              with -c, check for strict ordering;
                              without -c, output only the first of an equal run

[root@hadoop shellexercise]# sort -u testlog.txt 
10.0.0.7
10.0.0.8
10.0.0.9

3.-c：去重计数【等效：求取重复行】

-c, --count           prefix lines by the number of occurrences

两步：（1）排序，（2）去重。解释：因为-c只是计算相邻的重复的，所以，需要排序使重复行相邻！

[root@hadoop shellexercise]# sort testlog.txt 
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
10.0.0.9
[root@hadoop shellexercise]# sort testlog.txt|uniq -c
      2 10.0.0.7
      3 10.0.0.8
      2 10.0.0.9

4.-d：查找重复行

总共两步：（1）排序；（2）uniq查重。解释，因为uniq依旧是求解相邻重复行的。

[root@bigdata datas]# cat orders.csv 
1,B,88.25,20-May-2008
2,C,32.00,30-Nov-2007
3,A,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009
3,B,12.95,02-Jun-2008
3,c,12.95,02-Jun-2008
3,D,25.02,22-Jan-2009
[root@bigdata datas]# sort orders.csv |uniq -d
3,D,25.02,22-Jan-2009

5.案例：取出ip并根据ip访问次数排序进行排序处理

[root@hadoop shellexercise]# sort testlog.txt 
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
10.0.0.9
[root@hadoop shellexercise]# sort testlog.txt|uniq -c|sort -r
      3 10.0.0.8
      2 10.0.0.9
      2 10.0.0.7


四、参考

1.https://www.cnblogs.com/wangkongming/p/5033676.html

RayBreslin
关注
专栏目录
shell中常用的命令:sort和uniq
qq_36275923的博客
02-17 693
文章目录shell中常用的命令:sort和uniq1.sort命令和uniq命令的用法2.命令的使用例子sort numbers：只对数字的第一位正向排序sort -n numbers：纯数字正相排序sort -rn numbers：纯数字倒序sort -rn numbers -o NUM S：将排序结果输出到指定文件中sort -u numbers：去掉重复数字并只对数字的第一位正向排序sort...
shell编程之sort、uniq、tr
m0_48580960的博客
06-16 361
sort 依据不同的数据类型进行排序 sort [选项] 参数 常用选项： -f : 忽略大小写 -b ：忽略每行前面的空格 -M : 按照月份进行排序 -n ：按照数字进行排序 -r ：反向排序 -u ：等同于uniq，表示相同的数据仅显示一行 -t ：指定分隔符，默认使用【Tab】键分隔 -o <输出文件> ：将排序后的结果转存至指定文件 -k ：指定排序区域 如果不 -n，默认按ASCLL码排序 cat /etc/passwd | sort cat /etc/passwd | so
Shell中的sort和uniq命令
01-20
Shell中的sort和uniq命令 sort ：通常用来排序 uniq ：通常对重复字符进行处理 sort -n sort -r sort -u 去重，u: unique（独一无二的） sort -o 指定输出文件 sort -t 指定分隔符 sort -k 指定列排序(配合-t使用) 所有参数都不改变原文件，只是在终端输出   uniq -u 显示不重复的行 uniq -d 只显示重复的行 uniq -c 显示所有数字重复的次数   [root@localhost sort-uniq]# cat numbers 12 2 1 3 55 5 5 354 54 0
Shell命令-文件及内容处理之sort、uniq
weixin_34417200的博客
01-19 126
文件及内容处理 - sort、unip 1. sort：对文件的文本内容排序 sort命令的功能说明 sort 命令用于将文本文件内容加以排序。sort 可针对文本文件的内容，以行为单位来排序。 sort命令的语法格式 sort [OPTION]... [FILE]... sort [-bcdfimMnr][-o][-t][+-][--help][--verison][文件] ...
shell--sort、uniq等
weixin_55609951的博客
05-24 425
一、sort命令----以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 语法格式 sort [选项] 参数 cat file | sort 选项 常用选项 -f忽略大小写，会将小写字母都转换为大写字母来进行比较-b忽略每行前面的空格-n按照数字进行排序-r反向排序-u等同于uniq，表示相同的数据仅显示一行-t指定字段分隔符，默认使用[Tab]键分隔-k指定排序字段-o<输出文件>将排序后的结果转存至指定文件
shell之sort和uniq 及wc 的使用
weixin_30748995的博客
05-25 110
文本排序：sort -n：数值排序 -r: 降序 -t: 字段分隔符 -k: 以哪个字段为关键字进行排序 -u: 排序后相同的行只显示一次 -f: 排序时忽略字符大小写 ########################################################################...
Linux Shell学习：uniq命令使用方法介绍
07-30
在Linux系统中，Shell脚本是自动化任务的强大工具，而uniq命令则是处理文本文件时非常实用的一个工具。它主要用于去除文件中的重复行，使我们能够更有效地分析和处理数据。在本文中，我们将深入探讨uniq命令的使用...
排序和去重：sort和uniq命令的高级用法
```shell sort [选项] [文件名] ``` 其中，`选项`可以用于指定排序的方式，例如按照数字或字母顺序排序，或者自定义排序规则。而`文件名`则是要进行排序的文件路径。 ## 1.2 去重命令`uniq`介绍 去重命令`uniq`...
文本排序和去重：sort、uniq等
!...# 1. 文本排序和去重的基本概念** 文本排序和去重是文本处理中两个常见的操作，它们在各种应用场景中都有着广泛的应用。排序是指将文本中的行...### 2.1 sort命令的基本语法和选项 sort命令的基本语法为： ``` sor
【shell】sort uniq
u010900754的专栏
11-23 323
sort可以对文件内容进行排序，可以指定多个文件，默认按照字典序排序。 如果要按照数字排序，可以使用-n参数。 如果文件有多列，列是以空格区分的，那么可以指定按照特定的列排序，使用-k参数，1表示第一列。 使用-r参数可以逆序排序。 uniq只能接受一个排序文件为输入，所以sort管道uniq是一个常见用法。 uniq只会显示不重复的行，意味着如果本来就不重复，会
shell sort+uniq命令
L*YUE的博客
03-26 798
目录sort命令作用sort命令的用法sort命令联系 sort命令作用 sort是linux的排序命令，而且可以依据不同的数据类型来进行排序，sort将文件的每一行作为一个单位，相互比较。比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 sort命令的用法 -n #纯数字排序 -r #倒序（与不加参数时相反） -u #去...
linux shell之sort、uniq
weixin_40746176的博客
02-26 271
一、简述 sort用于排序，uniq可用于去重。 uniq只能对排过序的数据使用。 sort常用选项： -n 按照数字排序 -r 逆序排列 -M 按月份排列 二、略深入 sort使用-k选项指定排序键值 sort -nk 2 filename 该命令对指定文件按照数字大小排序，比较的是每行的第二列。 sort -nk 2,3 filename 该命令会提取第一列数据的2、3两个字符作为键值 s...
shell脚本之排序工具（sort、uniq）
huhaiyangFIVE的博客
11-18 923
目录一、sort 工具二、uniq 工具 一、sort 工具 sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序 sort 命令格式：sort [选项] 参数 常用的选项： 选项 作用 -f 忽略大小写； -b 忽略每行前面的空格； -M 按照月份进行排序； -n 按照数字进行排序； -r 反向排序； -u 等同于 uniq，表示相同的数据仅显示一行； -t 指定分隔符，默认使用[Tab]键分隔； -o <输出文件>
6 shell命令之sort,uniq
cp3alai的专栏
03-13 850
sort用来排序,uniq用来去重,这两个命令经常被结合在一起使用.主要就是因为uniq去重的前提是文本必须排好序才可以. 当然字面上面理解,这两个命令的确是这样的功能.但是其实不然,他们还有相关的其它能力.一起来看看. sort [option] filename ...
shell中的sort和uniq命令
最新发布
Blankit1的博客
12-18 439
的文本，当重复的行并不相邻时，uniq 命令是不起作用的。先对文本进行排序，然后执行。统计每行文本出现的次数。uniq的操作对象是。
Shell基础工具(一）--sort/uniq
cherrydreamsover的博客
07-08 334
一、sort 1.原则 sort将文件的每一行作为一个单位，相互比较。比较的原则是从首字符向后，依次按照ACKLL码值进行比较，最后将它们按升序输出。 举例如下： 2.常见选项 -r选项：降序排列（由于sort的默认排序是按照升序排列的，想要按照降序排列在sort中加-r就可以了） -u选项：在输出的行中去除重复行 -n选项：“要以数值来排序” -t选项...
shell常用命令（三） sort（排序）、uniq（处理重复字符）
weixin_45649763的博客
02-14 2066
文章目录sort命令和uniq命令的用法举例sort的默认用法-n 纯数字排序-rn 倒序数字排序-o 输出到指定文件中-u 去掉重复数字-urn 倒序去掉重复数字uniq -c 每行显示一次并统计重复次数（左次数，右数据）uniq -d 显示重复的行uniq -u 显示非重复的行-k 指定要排序的列 -t 指定分隔符举个栗子 sort命令和uniq命令的用法 sort通常用来排序 uniq对重复...
Linux之shell常用命令（三） sort（排序）、uniq（处理重复字符）
weixin_43936969的博客
02-14 2225
文章目录shell中常用的命令—sort和uniq1.sort命令和uniq命令的用法2.命令的使用举例2.1sort的默认用法2.2 ==-n== 纯数字排序2.3 ==-rn== 倒序数字排序2.4 ==-o== 输出到指定文件中2.5 ==-u== 去掉重复数字2.6 ==sort -urn== 倒序去掉重复数字2.7 ==uniq -c== 每行显示一次并统计重复次数（左次数，右数据）2...
Shell命令：高效排序与去重——sort和uniq实战
"Shell中的sort和uniq命令用于对文本数据进行排序和去除重复项，是Linux Shell脚本编程中常用的数据处理工具。" 在Linux Shell环境中，`sort`和`uniq`是两个非常实用的命令行工具，它们帮助用户有效地管理和处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值