如何去掉一个文件中重复的数据行

最新推荐文章于 2023-11-19 10:42:31 发布
最新推荐文章于 2023-11-19 10:42:31 发布
阅读量1.6k 收藏
点赞数
分类专栏： shell 文章标签： uniq 重复数据行
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunying_si/article/details/23265001
版权

一、去掉相邻重复的数据行

$cat data1.txt | uniq

输出：

beijing
wuhan
beijing
wuhan


二、去掉所有重复的数据行

$cat data1.txt | sort | uniq
注：只有uniq命令的话，只是把相邻的重复的数据行去掉。如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了。

输出：

beijing
wuhan


附：data1.txt

[root@syy ~]# cat data1.txt
beijing
beijing
wuhan
wuhan
wuhan
beijing
beijing
beijing
wuhan
wuhan

注：在过滤日志中的IP地址很有用。



小鹰电子
关注
专栏目录
uniq命令 去除文件中的重复行
01-09
uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。 我们应当注意的是，它和sort的区别，sort只要有重复行，它就去除，而uniq重复行必须要连续，也可以用它忽略文件中的重复行。 语法格式：uniq [参数] [文件] 常用参数： -c 打印每行在文本中重复出现的次数 -d 只显示有重复的纪录，每个重复纪录只出现一次 -u 只显示没有重复的纪录 参考实例 删除连续文件中连续的重复行： [root@linuxcool ~]# cat
去除重复行
Eric.Net的专栏
05-31 70
cat 1.txt|sort|uniqreference:http://zhangyuexing.7ta.cn/Article/12289/1444/
去除文本中重复的数据行
will_Liangfei的博客
04-12 3028
一、去掉相邻重复的数据行 复制代码 代码如下: $cat data1.txt | uniq 输出： beijing wuhan beijing wuhan 二、去掉所有重复的数据行 复制代码 代码如下: $cat data1.txt | sort | uniq 注： 只有uniq命令的话，只是把相邻的重复的
Linux下文本文件合并和去除重复操作。
yihuliunian的博客
03-10 912
转自品略网：http://www.pinlue.com/article/2020/03/0911/0910001580919.html Linux下处理文本的能力还是很强大的。 本文主要涉及到的命令为cat uniq sort。 一 命令简单介绍 cat：将文本文件读出来 (concatenate files and print on the standard output) 文...
linux 实用命令
笑笑的博客
02-20 487
1.查看日志去除重复 cat xx文件 |grep "xxxxx"|awk -F ']' '{print $2}'|sort|uniq 2.统计去除重复的行数 cat xx文件 |grep "xxxxx"|awk -F ']' '{print $2}'|sort|uniq|wc -l 3.查询日志大于某一个时间点的日志,并且去重复 cat xx文件 | grep "xxxx...
python筛选出两个文件中重复行的方法
09-20
这样，`repeat`文件就包含了A文件中所有不重复的行，而被写入`fOut`的行则是A文件中与B文件重复的行，其数量由变量`repeatCount`跟踪。 通过这种方式，脚本可以有效地处理大型文件，同时保持较低的内存使用量。如果...
python去除文件中重复的行实例
09-20
首先，去除文件中重复行的基本思想是在读取文件的每一行时，通过一个列表（res_list）来记录已经出现过的行。在读取每一行时，都会进行检查，判断该行是否已经存在于res_list中。如果不存在，就将该行添加到列表中，...
php删除文本文件中重复行的方法
10-24
接下来，文件描述中提到这个方法“非常具有实用价值”，确实，在许多实际应用中，例如数据分析、日志文件处理等，去除重复数据是常见的需求。 具体到文件的【部分内容】，展示了一个名为`RemoveDuplicatedLines`的...
python如何删除文件中重复的字段
09-19
在处理大量数据或进行数据清洗时，经常会遇到需要去除文件（如文本文件、CSV 文件等）中的重复字段的情况。本文将详细介绍如何使用 Python 来实现这一功能，并通过示例代码来具体演示操作步骤。 #### 方法一：使用...
python 删除excel表格重复行,数据预处理操作
09-16
处理完数据后，我们可能需要将结果保存到一个新的 Excel 文件中，以便进一步分析或存档。 ```python no_re_row.to_excel("test2.xls") ``` #### 补充知识：Python 数据预处理 除了删除重复值外，数据预处理还涉及...
Linux每日智囊-cat, more, less
最新发布
HJ_blog
11-19 138
cat命令是一次显示文件全部内容。more命令和less命令都是分页显示，但是less更友好。
【linux】linux去重的方法
LySunflower的博客
11-22 1万+
linux 去重方法经验分享
notepad++去除重复行
Allen技术小站
10-09 1万+
一 使用正则表达式 对文本进行排序，让重复行排在一起 使用正则表达式替换（注意） ^(.*?)$\s+?^(?=.*^\1$) 1 在替换时选择正则表达式 二 使用插件TextFX 安装插件 如果找不到插件管理，请更新notepad++ 2. 安装成功后，会自动重启notepad++ 勾选”sort outputs only unique“ 选中需要去除重复行的文本 选择“sort lines case sensitive” 或者“sort lines case
一键去除txt文本重复行（带界面版）
悟叭鸽
11-05 1万+
1. 去除txt文件内的重复行 2. 保存去除后的文件 3. 打开文件选择框 4. 打开保存后的文件所处位置 5. 如无重复行不进行任何处理 6. 带界面，选择文件后界面显示文件内容 7. 去除重复行后显示文件内容 8. 多线程处理 9. 打包成可执行文件exe 10. 源码不准超过一百行
linux shell 对两个文件的处理
train的专栏
10-10 1878
<br /> <br />(1)两个文件的交集，并集<br />前提条件：每个文件中不得有重复行<br />1. 取出两个文件的并集(重复的行只保留一份)<br />cat file1 file2 | sort | uniq > file3<br />2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)<br />cat file1 file2 | sort | uniq -d > file3<br />3. 删除交集，留下其他的行<br />cat file1 file2 | sort | uni
shell脚本去重的几种方法
热门推荐
小白_努力
06-11 5万+
测试文件如下 jason jason jason fffff jason 第一种去重方法： sort -u 文件名 或者 cat 文件名 | sort -u [root@bogon ~]# sort -u test fffff jason 但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保存下来，语句为： sort -u 文件名 > 新文件名 或者 cat 文件...
linux去除内容重复行,实例详细说明linux下去除重复行命令uniq
weixin_29777019的博客
05-06 2446
一，uniq干什么用的文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行。如果您想先对输入排序，使用sort -u。2，对文本操作时，若域中为先空字符(通常包括空格以及制表符)，然后非...
linux 命令 去掉重复行
gredn的专栏
09-15 2万+
打印指定列 域信息 more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'   把文件中的重复行 写入 lance444 awk 'a[$0]++' lance.txt  >> lance444.txt   把 lance.txt 文件中的不重复行 写入 lance333  awk '!a[$0]++' lance.
linux排列去重复的命令,实例详细说明linux下去除重复行命令uniq
weixin_29098367的博客
04-28 1113
一，uniq干什么用的文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行。如果您想先对输入排序，使用sort -u。2，对文本操作时，若域中为先空字符(通常包括空格以及制表符)，然后非...
python 去除xls文件中的重复行数据
06-12
可以使用 pandas 库来处理 xls 文件并去除重复行数据。下面是一个简单的示例代码： ```python import pandas as pd # 读取 xls 文件并转为 pandas 数据框 df = pd.read_excel('your_file.xls') # 去除重复行数据 df.drop_duplicates(inplace=True) # 将处理后的数据框重新写入 xls 文件 df.to_excel('your_file_without_duplicates.xls', index=False) ``` 这个代码会读取名为 "your_file.xls" 的 xls 文件，将其转换为 pandas 数据框，然后使用 `drop_duplicates` 方法去除重复行数据。最后将处理后的数据框重新写入名为 "your_file_without_duplicates.xls" 的 xls 文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值