Shell编程中，Sort和uniq为什么总是结对使用

最新推荐文章于 2023-12-18 15:45:33 发布
最新推荐文章于 2023-12-18 15:45:33 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： uniq sort
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichuanbao1234/article/details/9178837
版权
uniq 同时被 2 个专栏收录
1 篇文章 0 订阅
订阅专栏
sort
1 篇文章 0 订阅
订阅专栏
一直没有怎么写过脚本，最近赶鸭子上架，要写一个统计用户访问次数的脚本。因为用户在日志会出现多次，需要按照手机号码进行一下去重。结果用到了sort和uniq两个命令。当时对于这两个命令为什么需要联合使用比较模糊，今天总结一下。

提示：uniq去重功能，只能针对连续的多行进行去重，只剩下唯一的一条。

比如有如下的文件happy.txt,文件内容如下 
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!

如果需要将文件内容去重，我们看一下单用uniq和将sort与uniq结合用的差别。 
cat happy.txt |uniq

结果如下 
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!

先排序再去重 
cat happy.txt |sort|uniq

结果如下 
Happy Birthday Dear Tux!
Happy Birthday to You!


看了上面的测试结果，大家应该明白了，sort是为了将相同内容的行排列在一起，然后使用uniq将相同的行进行去重，进而达到去重的目的。
lichuanbao1234
关注
专栏目录
shell编程之sort、uniq、tr
m0_48580960的博客
06-16 364
sort 依据不同的数据类型进行排序 sort [选项] 参数 常用选项： -f : 忽略大小写 -b ：忽略每行前面的空格 -M : 按照月份进行排序 -n ：按照数字进行排序 -r ：反向排序 -u ：等同于uniq，表示相同的数据仅显示一行 -t ：指定分隔符，默认使用【Tab】键分隔 -o <输出文件> ：将排序后的结果转存至指定文件 -k ：指定排序区域 如果不 -n，默认按ASCLL码排序 cat /etc/passwd | sort cat /etc/passwd | so
shell中常用的命令:sort和uniq
qq_36275923的博客
02-17 693
文章目录shell中常用的命令:sort和uniq1.sort命令和uniq命令的用法2.命令的使用例子sort numbers：只对数字的第一位正向排序sort -n numbers：纯数字正相排序sort -rn numbers：纯数字倒序sort -rn numbers -o NUM S：将排序结果输出到指定文件中sort -u numbers：去掉重复数字并只对数字的第一位正向排序sort...
sort与uniq命令详解
weixin_34295316的博客
01-18 149
1.sort的作用 (排序) sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。 如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 2.sort语法 sort [-fbMnrtuk] [file or stdin]选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的空格符...
sort与uniq
ZERO
09-24 607
sortsort命令进行排序，其语法及常用参数格式：sort [-bcfMnrtk][源文件][-o 输出文件]补充说明：sort可针对文本文件的内容，以行为单位来排序。参数：-b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -f 排序时，忽略大小写字母。 -M 将前面3个字母依照月份的缩写进行排序。 -n 依照数值的大小排序。 -o
shell工具之sort
zby2018的博客
03-01 188
shell工具之sort ​ sort命令是在Linux里非常有用，它将文件进行排序，并将排序的结果标准输出。 基本语法： sort 选项 参数 -n 依照数值大小排序 -r 以相反的顺序来排序 -t 设置排序时所用的分隔字符 -k 指定需要排序的列 参数： 指定待排序的文件列表 范例：用第二列的数值进行排序 ...
shell--sort、uniq等
weixin_55609951的博客
05-24 426
一、sort命令----以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 语法格式 sort [选项] 参数 cat file | sort 选项 常用选项 -f忽略大小写，会将小写字母都转换为大写字母来进行比较-b忽略每行前面的空格-n按照数字进行排序-r反向排序-u等同于uniq，表示相同的数据仅显示一行-t指定字段分隔符，默认使用[Tab]键分隔-k指定排序字段-o<输出文件>将排序后的结果转存至指定文件
Shell中的sort和uniq命令
01-20
在Linux Shell环境中，`sort` 和 `uniq` 是两个非常实用的命令，它们主要用于文本文件的数据处理。`sort` 命令用于对文件内容进行排序，而 `uniq` 命令则用于去除文件中连续重复的行，或者显示只出现一次或多次的行...
sort和uniq的常见选项及其使用
半暖的博客
07-07 1万+
sortsort，见名知意，就是用来排序的。sort读取每一行输入，并按照指定的分隔符（默认为空格）将每一行划分成多个字段，这些字段就是排序的对象。同时，sort可以指定何种排序规则进行排序，默认使用当前字符集排序规则，还可以按照字典排序规则、数值排序规则、按照月份排序规则、按照文件大小排序规则等。常见选项   -r选项，以降序排序，sort默认的排序方式是升序。注意：-r这个选项并不参与排序，而...
Linux Shell学习：uniq命令使用方法介绍
07-30
在本文中，我们将深入探讨uniq命令的使用方法，并通过具体的实践例子来帮助你更好地理解和掌握这个命令。 首先，uniq命令的基本功能是显示文件中不重复的行。当我们有大量数据，特别是连续重复的数据时，uniq可以...
shell中的sort和uniq命令
最新发布
Blankit1的博客
12-18 443
的文本，当重复的行并不相邻时，uniq 命令是不起作用的。先对文本进行排序，然后执行。统计每行文本出现的次数。uniq的操作对象是。
Shell命令-文件及内容处理之sort、uniq
weixin_34417200的博客
01-19 128
文件及内容处理 - sort、unip 1. sort：对文件的文本内容排序 sort命令的功能说明 sort 命令用于将文本文件内容加以排序。sort 可针对文本文件的内容，以行为单位来排序。 sort命令的语法格式 sort [OPTION]... [FILE]... sort [-bcdfimMnr][-o][-t][+-][--help][--verison][文件] ...
shell sort+uniq命令
L*YUE的博客
03-26 798
目录sort命令作用sort命令的用法sort命令联系 sort命令作用 sort是linux的排序命令，而且可以依据不同的数据类型来进行排序，sort将文件的每一行作为一个单位，相互比较。比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 sort命令的用法 -n #纯数字排序 -r #倒序（与不加参数时相反） -u #去...
shell编程之sort命令和uniq命令：数据排序去重命令
锦衣
05-28 3292
sort命令sort命令 sort命令 sort：将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 -u ：去除重复行 -r ：降序排列，默认是升序 -o : 将排序结果输出到文件中 类似 重定向符号> -n ：以数字排序，默认是按字符排序 -t ：分隔符 -k ：第N列 -b ：忽略前导空格。 -R ：随机排序，每次运行的结果均不同。 示例： # sort -n -t: -k3 1.txt 按照用户的uid进行升序排列 # sort -n
shell uniq 和sort 简单用法及实例
kozazyh的专栏
04-25 3664
以第1域的第二个字符来排序，如果该域只有1个字符则按数字先，字母后的顺序排在够2个字符的正常排序的后面uniq 中的重复行为连续不段重复的行，如：1122而sort中-u来实现唯一性的，也就是去除重复行的意义为：1122和1231两种我思考了半天才想通，先排序把相邻的都拍到了一起，然后用uniq去显示邻接的次数awk '{print $5}' zzz |awk -F // '{print $3}'...
shell中uniq与sort -u 两种去重的对别
热门推荐
B_H_L的专栏
03-07 8万+
sort -u 和 uniq都能起到删除重复信息的功能，那么他们的区别究竟在哪呢？ $ cat test               jason jason jason fffff jason 下面分别执行三个命令 1：sort -u test sort -u test fffff jason 2: uniq test $uniq test  jas
shell-ls命令的排序输出、sort和uniq工具的使用(十)
cxy的博客
03-04 1576
仅学习记录，侵删
shell入门学习笔记-16-命令详解：排序sort与去重uniq
韩超的博客 (hanchao5272)
02-16 1097
系列目录与参考文献传送门: shell入门学习笔记-序章 今天有个接口出了问题，在排查日志时，用到了去重命令，因此今天复习一下去重相关的两个命令。 sort 正序排序sort admindeMacBook-Pro:myshell admin$ cat logg.txt thread-id:001 thread-id:002 thread-id:001 thread-id:001 thread-id...
[Shell命令] sort -u删除重复行
memory专栏
03-19 1万+
在使用sort命令以默认的式对文件的行进行排序，使用的命令如下： sort testfile sort 命令将以默认的方式将文本文件的第一列以ASCII 码的次序排列，并将结果输出到标准输出。 $ cat test1 # test1文件原有排序 test test test hello world world hello hello $ sort test1 #排序结果 ...
Shell命令：高效排序与去重——sort和uniq实战
"Shell中的sort和uniq命令用于对文本数据进行排序和去除重复项，是Linux Shell脚本编程中常用的数据处理工具。" 在Linux Shell环境中，`sort`和`uniq`是两个非常实用的命令行工具，它们帮助用户有效地管理和处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值