文本处理工具之uniq

最新推荐文章于 2024-02-21 17:25:23 发布
最新推荐文章于 2024-02-21 17:25:23 发布
阅读量157 收藏
点赞数
分类专栏： shell 脚本篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44879253/article/details/108563506
版权

uniq工具

1、uniq不加参数，默认去重连续重复的行

# uniq 3.txt

2、统计连续重复的行

3、只显示重复的行

4、统计重复的行

 

声明：以上纯属博主学习历程笔记，依靠参考及其理解实战编写而成，后期会持续更新！

参考：

https://www.bilibili.com/video/BV1st411N7WS?p=7

 

郝似星河
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux文本处理工具使用详解
09-14
在本文中，我们将深入探讨几个常用的文本处理工具，包括`grep`、`sort`、`head`、`cut`、`ss`、`uniq`以及如何结合使用这些工具来完成特定的任务。 1. **统计非/sbin/nologin shell的用户数量** `grep`命令用于在...
Shell脚本学习指南之文本处理工具
09-15
Shell脚本学习中，文本处理工具是不可或缺的一部分，它们能够帮助我们高效地处理文本数据，进行排序、去重、格式化等操作。以下是对这些工具的详细解释： **4.1 排序文本** 4.1.1 行的排序：`sort`命令默认按照...
文本处理命令系列——uniq
weixin_33948416的博客
11-09 63
uniq的作用：显示重复或忽略重复的行。等同于sort -u常用选项： -d：只显示重复的行。 -c：每一行出现的次数。 -u：只显示没有重复的行 -i：忽略大小写。示例：显示每一个用户登录的次数 [root@vm1~]#last|cut-d''-f1|grep-v'^$'|sort|uniq-c 26reboot 74...
uniq命令
Sunnylunch-blog
04-23 1061
uniq这个命令用于读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多的重复的行将被删除。行比较是根据所用字符集的排序序列进行的。命令格式: uniq option 文件 常用option: -c:显示输出中，在每行行首加上本行在文件中出现的次数(注意是连续出现的行)。 -d:只显示重复的行。 -u:只显示不重复的行。例:
文本处理命令--uniq
weixin_33724046的博客
06-20 474
uniq - report or omit repeated lines报告或删除重复行。注:常与sort结合使用，因为uniq可以去除重复的行（重复的行需要是相邻的）。[root@www1~]#cattest.txt aaa111222#此行有重复哦 ccc333444 aaa111222 ggg555666 bbb777888 e...
uniq处理文件
wuxingge的博客
08-15 236
uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用 -d 仅显示重复出现的行 -u 仅显示出一次的行 源文件 cat a.txt 1 2 3 4 5 cat b.txt 3 4 6 5 4 7 8 9 10 并集 cat a.txt b.txt |sort |uniq 1 10 2 3 4 5 6 7 8 9 交集 cat a.txt b.txt |sort |uniq -d 3 4 5 a - b 差集 cat a.txt b.txt b.txt |sort |
用 uniq 除去重复行
坐看云起时
12-11 230
重复行通常不会造成问题，但是有时候它们的确会引起问题。此时，不必花上一个下午的时间来为它们编制过滤器，uniq 命令便是唾手可得的好工具。 了解一下它是如何节省您的时间和精力的。进行排序之后，您会发现有些行是重复的。有时候该重复信息是不需要的，可以将它除去以节省磁盘空间。不必对文本行进行排序，但是您应当记住 uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行。下...
常见的文本处理工具
最新发布
dzzx_my的博客
02-21 651
hexdump是Linux下的一个二进制文件查看工具，它可以将二进制文件转换为ASCII、八进制、十进制、十六进制格式进行查看。cat（英文全拼：concatenate）命令用于连接文件并打印到标准输出设备上。与more类似，但可以随意浏览文件。支持翻页和搜索，支持向上翻页和向下翻页。类似 cat ，不过会以一页一页的形式显示，更方便使用者逐页阅读。针对文本文件的内容，以行为单位排序后输出，不会改变源文件。计算文件的Byte数、字数、或是列数。从输入中删除前后相接的重复的行。从下往上逐行输出文件内容。
文本处理工具
wangjie17310476791的博客
10-14 121
文件查看命令： cat，tac，rev  cat [OPTION]… [FILE]… -E：显示行结束符$ -n：对显示出的每一行进行编号 -A：显示所有控制符 -b：非空行编号 -s：压缩连续的空行成一行  tac rev 分页查看文件内容 more: 分页查看文件 more [OPTIONS…] FILE… -d: 显示翻页及退出提示 less：一页一页地查看文件或STDIN输出 查看时...
Linux命令 sort、uniq、tr工具详解
09-14
`sort`、`uniq`和`tr`就是其中三个非常实用的文本处理工具，它们分别用于对文本文件内容进行排序、去除重复行以及转换字符。 首先，让我们详细了解`sort`命令。`sort`的主要功能是对文本文件的行进行排序。它支持...
文本处理工具之diff
|汾西公子
09-13 1477
diff工具 1、比较俩个普通文件异同： 2、比较俩个文件是否异同【以file2为准】 3、上下文格式显示 4、合并格式显示 - 表示删除 + 表示添加 5、比较俩个目录不同 # mkdir dir1 dir2 # touch dir1/file{1..5} # touch dir2/file{1..3} dir2/test{1..2} # ll -R dir* 6、如果只需要比较俩个目录里文件的不同...
shell篇 — 过滤ip、子网掩码、网关、MC地址
|汾西公子
09-13 1154
1、查看网卡设备 # ifconfig eth0 eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.26.211.25 netmask 255.255.240.0 broadcast 172.26.223.255 ether 00:16:3e:05:e7:df txqueuelen 1000 (Ethernet) RX packets 33044...
文本处理工具之tee
|汾西公子
09-13 540
tee工具 1、把hello worald 写入文件11.txt【tee不加参数默认是覆盖】 # echo hello world | tee 11.txt 2、把hello 000追加到文件11.txt【-a 是追加】 3、在文件/etc/vsftpd/vsftpd.conf中过滤开头是#的行进行取反 安装vsftpd软件yum -y install vsftpd # grep -v '^#' /etc/vsftpd/vsftpd.conf 4、在文件/...
shell篇 — 过滤系统中的用户名和密码
|汾西公子
09-13 373
将系统中所有普通用户的用户名、密码、和默认shell保存到一个文件中，要求用户名和密码和默认shell之间用tab键分割 注释： -E 匹配扩展正则表达式， l代表或者，是一个扩展正则 grep 'bash$' passwd |grep -v 'root' |cut -d : -f1,2,7 |tr ':' '\t' |tee abc.txt 说明： cut -d ： -f1,2,7 ##过滤以：为分隔符，取第1,2,7列 grep -v 'root' 查找不...
文本处理工具之cut
|汾西公子
09-13 352
cut工具 1、过滤文件1.txt 以 ： 为分隔符 第3行，并 以数字排序【默认升序】 # sort -n -t: -k3 1.txt 2、过滤文件1.txt 以 ： 为分隔符 第3行，并 以数字排序【降序】 # sort -nr -t: -k3 1.txt 3、过滤文件1.txt 以 ： 为分隔符 第3行，并 以数字排序【降序】，同时输出到文件2.txt # sort -nr -t: -k3 1.txt -o 2.txt 4、去除重复行 # sort -u 3.tx...
文本处理工具tr
|汾西公子
09-13 293
tr工具 1、匹配大小写字母和数字 [a-zA-Z0-9] 2、行尾有$符号 vim passwd :set list 3、1.txt文件标准输入把小写字母换成大写字母【只显示，不修改文件】 # tr 'a-z' 'A-Z' <1.txt 4、1.txt文件标准输入把数字换成@符号【只显示，不修改文件】 # tr '0-9' '@' <1.txt 5、1.txt文件标准输入把:/换成#符号【只显示，不修改文件】单引号中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值