使用awk去掉文件中某列重复的行

最新推荐文章于 2022-06-29 15:01:36 发布
最新推荐文章于 2022-06-29 15:01:36 发布
阅读量5.8k 收藏 3
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soright/article/details/41702695
版权
本文介绍如何利用awk命令去除含有日期、IP地址和唯一标识符的文件中，基于第二列内容重复的行。通过首先找出不重复的键，然后与原文件进行交集操作来实现。
摘要由CSDN通过智能技术生成

原数据文件test格式如下：

30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903531 FI|T|Tf|BBB
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903532 FI|T|Tf|QQQ
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903531 FI|T|Tf|SDF
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903532 FI|T|Tf|AAA
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903533 FI|T|Tf|AAA

需要根据第二列判断，去掉第二列重复的行

方法：由于找到不重复的key比较容易，所以先找到不重复的key生成一个文件，然后两个文件去做交集

1、找到不重复的key

cat test | awk '{print $2}' | sort | uniq -c | awk '{if($1==1)print $2}' > ~/test1

生成文件如下

192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903533

2、两个文件取交集

awk 'ARGIND
最低0.47元/天 解锁文章
soright
关注
专栏目录
awk按照文件第2列去重复
qq_21478261的博客
07-18 233
awk '!seen[$2]++'依次类推。
【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符...
小鱼菜鸟的博客
07-22 2108
目录 awk基本语法 awk输出某几列 awk遍历文件行处理 awk中运行shell命令 方法1：awk 内置函数system 方法2 通过awk print 交给bash awk中运行shell命令并用awk的参数 awk命令获取文本的某一行，某一列 AWK 技巧(取倒列，过滤行，匹配，不匹配，内置变量等) 通过第一个域找出...
shell脚本--awk数组实现去除重复行
Andy_Hanna的专栏
11-18 3266
去除重复行的方法有很多，这里介绍三种。 测试文本： [root@172-0-10-222 myscripts]# cat testfile andy 123456 hanna 123456 hello world welcome fuck andy 123456 hello world andy andy 这其中，有andy 123456和hello world是重复的。 （1）使用so...
Linux用awk去掉重复列的几种情况
pwerdu91的博客
06-29 4547
Linux用awk去掉重复列的几种情况
awk去重以某列重复的行
weixin_30877227的博客
11-21 499
[root@localhost cc]# cat 2.txt adc 3 5 a d aa 3 adfa d ba 3 adf 去重第一列重复的行： [root@localhost cc]# cat 2.txt |awk '!a[$1]++{print}'adc 3 5 a d a 重复的行取最上面一行记录 去重以第一列和第二列重复的行： [root@localhost cc]# cat...
awk除去重复行
纯，属虚构
04-13 2万+
awk去除重复行，思路是以每一行的$0为key，创建一个hash数组，后续碰到的行，如果数组里已经有了，就不再print了，否则将其print   测试文件：   用awk：   用sort+uniq好像出错了：   到底是为什么uniq出错了呢？不知道，但是awk真的很强大。两者的差异还在于，awk保持了文件中原本的每行的顺序，而sort必须排序，这样就变成按字母
shell 根据列去重
YMY_mine的博客
08-26 1563
1、展示第一列 cat same.dat |awk '{print $1}' #展示第一列 2、根据第一列去重，并展示第一列 cat same.dat| awk '!a[$1]++{print}'| awk '{print $1}'
shell中删除文件中重复行的方法
09-15
去除文件中的重复行是一项常见的需求，本文将详细介绍几种有效的方法来实现这一目标。 #### 方法一：使用`uniq/sort`删除重复行 `uniq`命令用于报告或删除文本文件中的重复行。它要求输入已经排序，否则可能会漏删...
sed与awk去除重复行
alnx37271的博客
08-29 1258
1 如果仅仅是删除内容完全一样重复行 则可以使用sort先进行排序然后使用 uniq进行删除重复数据即可 例如 CUST.TXT Txt代码 130000006800,17,151,01,250100 130000006800,17,151,01,250101 1300001077,17,151,01,256600 ...
shell第一列相同即判断为重复，取其中一条数据
chengxuyuanyonghu的专栏
03-08 6649
例如 123456.txt内容如下 90115601,2137786735     36684 90115601,2137786735     36684 90118301,17751822       34898 90145133,2050186877     3847 90145133,2050186877     3847 90151825,35804
awk根据某列删除重复行
yanlinpu的博客
04-24 965
cat a.txt 1,"https://www.baidu.com",3 2,"https://www.a.com",3 2,"https://www.b.com",4 3,"https://www.a.com",4 3,"https://www.a.com",5 3,"https://www.c.com",5 2,"https://www.b.com",6 2,"https://www.b.com",6 删除第一列重复的行，只保留第一条数据 $ cat a.txt | awk -F ',' '..
linux 命令 去掉重复行
热门推荐
gredn的专栏
09-15 2万+
打印指定列 域信息 more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'   把文件中的重复行 写入 lance444 awk 'a[$0]++' lance.txt  >> lance444.txt   把 lance.txt 文件中的不重复行 写入 lance333  awk '!a[$0]++' lance.
利用awk自身变量NR和FNR来处理多个文件
sunlylorn的专栏
01-28 1078
NR：表示awk开始执行程序后所读取的数据行数。 FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从0开始重新计数，而NR不会）。 NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件。 使用方法： awk -F 分隔符 'NR==FNR { do some stuff } NR!=FNR{ do so
求助，awk如何根据多列去除重复的记录
robin_lvxiongbin的专栏
11-27 2024
例子如下： 0052850101003,20,285,410010001 0052850101003,20,281,410010001 0052850101003,22,280,410010001 0052850101003,21,20,410010001 0052850101003,21,28,410010001 用awk如何根据第一列和第二列的值来去除重复的，保留一条。 要的结果
[shell]去除文件重复的行
lbt_dvshare的博客
06-11 6736
1. 在shell中可以利用uniq      sort unsorted.txt | uniq        注意：要先进行排序，才能调用uniq （uniq命令，只是把相邻的重复的数据行去掉）     缺点：会打乱原有文件的内容 2.利用Perl 实现   2.1 去除文件重複的行   unless (open FILE,"<D:/test.txt") {die "Can'...
shell第一列相同即判断为重复，只取其中一条数据
weixin_33836223的博客
03-08 500
例如 123456.txt内容如下90115601,2137786735 3668490115601,2137786735 3668490118301,17751822 3489890145133,2050186877 384790145133,2050186877 384790151825,3580430507 37974...
awk中删除重复行
冰雪的专栏
11-14 930
在awk中，可以用！a[$0]++做为条件，对重复出现的行进行处理。 bash-3.2$ cat 2 abc abc ef 123 dgag 123 xxx bash-3.2$ awk '!a[$0]++' 2 abc ef 123 dgag xxx 对于awk '!a[$3]++'，需要了解3个知识点 1、awk数组知识，不说了 2、awk的基本命令
如何在Linux系统中使用命令查看并过滤去除重复内容的文件？
最新发布
10-22
在Linux系统中，你可以使用`sort`、`uniq`和`awk`等命令结合使用来查看并过滤去除重复的内容。以下是一个基本步骤： 1. 首先，使用`sort`命令对文件内容按行排序，这将使得重复的行相邻： ``` sort file.txt > ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值