Linux命令之uniq

最新推荐文章于 2022-07-01 22:15:29 发布
最新推荐文章于 2022-07-01 22:15:29 发布
阅读量119 收藏
点赞数
分类专栏： Linux命令 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45587031/article/details/102605515
版权

uniq

如果排序完成了，将重复的行仅显示一次。注意，若文件未排序，该命令失效。
1.命令格式
uniq [-ic] filename
2.参数
-i：忽略大小写
-c：统计每行重复的次数
-d 或–repeated：仅显示重复出现的行列；
3.使用示例
对文件的内容进行去重
sort input.txt | uniq
uniq input.txt
sort -u input.txt
统计各行在文件中出现的次数
sort file.txt | uniq -c
在文件中找出重复的行
sort file.txt | uniq -d

蜻蜓队长超级帅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux命令之iotop
hellfu的博客
05-14 205
iotop -o -n 10 -d 5 -t -b > /root/io.log： -o，显示产生IO的进程，线程 -n，显示10次 -d，delay间隔5秒 -t，显示时间戳 -b，保存在文件中 -d SEC --delay=SEC 设置显示的间隔秒数，支持非整数 -p PID --pid=PID 只显示指定进程（PID）的信息 -u USER --user=USER 显示指定的用户的进程的信息 -P --processes 只显示进程，不显示所有线程 -a --accumulated 累积的I/O
Linux sed 命令
Black&White的专栏
12-15 473
场景：替换某个变量中的双引号为转义双引号 echo ${param} | sed 's/"""/\\\"/g' "g" 替换所有匹配到的字符 场景：替换某个变量中的单引号为转义单引号 sed "s/'/::/g" | sed 's/::/\\:/g' 场景：将文本的每一行以.结尾改为以！结尾 sed -i 's/\.$/\!/g' test.txt 简介 sed是一种新型的，非...
linux shell中常见文本处理：去重（uniq）、文本截取（cut）、文本转换（tr）、文本合并（paste）、文件分割（split）
Mr.Sugarcane
11-09 601
1、文本去重 uniq usage: uniq [-ic] -i 忽略大小写 -c 计算重复行数 $ cat aa.txt bb 3 aa 2 bb 3 bb 3 aa 2 $ cat aa.txt | sort -t" " -k 2| uniq -ic 2 aa 2 3 bb 3 2、使用 cut 截取文本 usage： usage: cut -b lis...
linux sort,uniq,cut,wc命令详解
weixin_33851177的博客
01-13 443
sort sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数： -f ：忽略大小写的差异，例如 A 与 a 视为编码相同； -b ：忽略...
Linux命令 sort、uniq、tr工具详解
09-14
主要介绍了Linux命令 sort、uniq、tr工具详解，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
uniq -d选项源代码分析
linux-0.11调试教程
03-17 395
[root@localhost src]# gdb ./uniq GNU gdb (GDB) Red Hat Enterprise Linux 7.6.1-94.el7 Copyright (C) 2013 Free Software Foundation, Inc. License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html> This is free software: you are free t
linux uniq 和 sort
为之的博客
04-14 203
data.txt 一、uniq 1.删除重复相邻行 2.打印重复行的次数 3.打印重复行 4.打印唯一行（出现次数仅为1） uniq不会检测重复的行，除非它们是相邻的。 二、sort 1.排序 2.打印去重行 三、sort&uniq 1.只显示重复行 2.只显示出现次数为1的行 ps：由于自己写的文本不好，这里...
Linux sort,uniq,cut,wc命令详解
01-09
　sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 　sort语法 　[root@www~]# sort [-fbMnrtuk] ...
linux 核心命令源码
07-10
linux 核心命令源码（cp mv cat chgrp chown cut date df du echo env expand expr find force fs group head hostname join kill link ls mkdir mv nice od paste printf ptx rm selinux seq sleep sort split stat...
Linux命令之netstat
09-26
Linux 命令之 netstat Netstat 命令是 Linux 系统中一个非常重要的命令，它可以用来查看 Linux 系统中正在使用的服务和端口情况。下面是 Netstat 命令的详细介绍。 Netstat 命令的基本用法 Netstat 命令的基本...
uniq命令不起作用
看清这个世界
02-20 1130
原来uniq只能处理当相邻的两行的是一样的时候， 如果分隔开之后就不能起作用了 cat male_selfie.txt | sort | uniq | wc -l
Linux笔记（30）sort排序以及uniq去重
weixin_49750432的博客
07-01 331
sort 排序： 默认情况下根据一行里的第1个字母的ASCII码值进行比较，升序排列 如果第1个字符一样，再比较第2个，以此类推 uniq 去重： 去除重复的行 unique 唯一，默认情况下，只能去除连续的重复行...
Shell-正则表达式
志当存高远
03-12 316
Shell-正则表达式一、sort命令1、概述2、常用选项二、uniq命令1、概述2、常用选项三、tr命令1、tr概述2、常用选项3、参数4、实例5、用tar排序四、cut命令1、cut概述2、常用选项3、删除windows文件"造)成"的'^M'字符:五、正则表达式1、正则概述2、基础正则表达式常见元字符3、扩展正则表达式元字符 一、sort命令 1、概述 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 sort 选项 参数 cat file | sort 选项 2、常用选项 -f：忽略大
uniq命令使用
panda-star的博客
11-13 7837
一、简介 uniq用于重复数据处理,使用前先sort排序。 二、命令格式 uniq [OPTION]... [INPUT [OUTPUT]] option: -c:在数据行前出现的次数 -d:只打印重复的行,重复的行只显示一次 -D:只打印重复的行,重复的行出现多少次就显示多少次 -f:忽略行首的几个字段 -i:忽略大小写 -s:忽略行首的几个字母 -u:只打印唯一的行 -w:比较不超过n个字...
linux 常用命令 sort、uniq、wc、tr、paste
May_JL的博客
01-12 220
sort命令： -b：忽略开头空白字符 -h：根据存储容量进行排序（KB，MB，GB） -n： 采取数字排序 -o：把结果写到指定文件 -t：指定分隔符 -k：指定第几列 -r：反向排序 cat sort.txt | sort # 对输出内容直接排序，默认按照每行的第一个字符进行排序 cat sort.txt | sort -k 2 -t ":" -n # 若要指定按照数字的方式排序，需要加上 -n 参数 cat sort.txt | sort -r -o 1.txt # 反向排序并将结果
shell脚本三剑客之awk（及sort、uniq、tr工具介绍）
繁星若渺的博客
11-12 409
目录1、扩展正则表达式元字符2、awk工具介绍2.1、awk用法3、sort工具介绍4、uniq工具5、tr工具 1、扩展正则表达式元字符 ■ 扩展正则表达式是对基础正则表达式的扩充深化 ■ 扩展元字符 ● +: 匹配前面子表达式1次以上 ◆ 例: go+d, 将匹配至少一个o ● ?: 匹配前面子表达式0次或者1次 ◆ 例: go?d, 将匹配gd或god ● (): 将括号中的字符串作为一个整体 ◆ 例: (xyz)+, 将匹配xyz整体1次以上，如xyzxyz ● |: 以或的方式匹配字条串 ◆ 例
【Linux】sort排序、uniq去重、wc统计
热门推荐
媛测
12-01 2万+
文章目录一、sort 排序1、语法2、参数说明3、实例二、uniq 去重1、uniq使用2、sort和uniq去重结果对比三、wc 统计 一、sort 排序 sort命令用于 对文本文件内容，以行为单位来排序。 sort命令以空格作为字段分隔符，将一行分割为多个关键字对文件进行排序。 需要注意的是除非你将输出重定向到文件中，否则sort命令并不对文件内容进行实际的排序(即文件内容没有修改)，只是...
uniq
chenglian的博客
09-13 380
语　　法：uniq [-cdu][-f][-s][-w][--help][--version][输入文件][输出文件] 补充说明：uniq可检查文本文件中重复出现的行列。 参　　数：   -c: 在每列旁边显示该行重复出现的次数。   -d: 仅显示重复出现的行列。   -f: 忽略比较指定的栏位。   -s: 忽略比较指定的字符。
linux排序语言,Linux sort 排序命令&&uniq去重复行
weixin_30253289的博客
05-12 284
sort命令sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。sort语法sort [-fbMnrtuk] [file or stdin]选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的空格符部分；-M ：以月份的名字来排序，例...
linux命令uniq -u
最新发布
04-08
uniq命令是Linux系统中的一个用于去除重复行的命令，而uniq -u是uniq命令的一个选项，用于只显示出现一次的行。 具体来说，uniq -u命令会从输入中过滤掉重复的行，并只显示那些只出现一次的行。如果有多个相同的行连续出现，uniq -u只会显示其中的一个。 下面是一个示例： 假设我们有一个名为example.txt的文件，内容如下： ``` apple banana apple orange banana grape ``` 我们可以使用uniq -u命令来找出只出现一次的行： ``` $ uniq -u example.txt orange grape ``` 在上面的例子中，"apple"和"banana"这两行都出现了多次，而"orange"和"grape"这两行只出现了一次，所以它们被uniq -u命令筛选出来并显示出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值