使用awk去掉文件中某列重复的行

最新推荐文章于 2022-07-22 19:16:00 发布
最新推荐文章于 2022-07-22 19:16:00 发布
阅读量5.8k 收藏 3
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soright/article/details/41702695
版权
本文介绍如何利用awk命令去除含有日期、IP地址和唯一标识符的文件中，基于第二列内容重复的行。通过首先找出不重复的键，然后与原文件进行交集操作来实现。
摘要由CSDN通过智能技术生成

原数据文件test格式如下：

30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903531 FI|T|Tf|BBB
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903532 FI|T|Tf|QQQ
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903531 FI|T|Tf|SDF
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903532 FI|T|Tf|AAA
30/Nov/2014:09:30:42    192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903533 FI|T|Tf|AAA

需要根据第二列判断，去掉第二列重复的行

方法：由于找到不重复的key比较容易，所以先找到不重复的key生成一个文件，然后两个文件去做交集

1、找到不重复的key

cat test | awk '{print $2}' | sort | uniq -c | awk '{if($1==1)print $2}' > ~/test1

生成文件如下

192.168.0.112_-54eb28a7_149fe14728b_-1e07|1417309903533

2、两个文件取交集

awk 'ARGIND
最低0.47元/天 解锁文章
soright
关注
专栏目录
awk按照文件第2列去重复
qq_21478261的博客
07-18 201
awk '!seen[$2]++'依次类推。
shell脚本--awk数组实现去除重复行
Andy_Hanna的专栏
11-18 3231
去除重复行的方法有很多，这里介绍三种。 测试文本： [root@172-0-10-222 myscripts]# cat testfile andy 123456 hanna 123456 hello world welcome fuck andy 123456 hello world andy andy 这其中，有andy 123456和hello world是重复的。 （1）使用so...
awk去重以某列重复的行
weixin_30877227的博客
11-21 492
[root@localhost cc]# cat 2.txt adc 3 5 a d aa 3 adfa d ba 3 adf 去重第一列重复的行： [root@localhost cc]# cat 2.txt |awk '!a[$1]++{print}'adc 3 5 a d a 重复的行取最上面一行记录 去重以第一列和第二列重复的行： [root@localhost cc]# cat...
awk除去重复行
纯，属虚构
04-13 2万+
awk去除重复行，思路是以每一行的$0为key，创建一个hash数组，后续碰到的行，如果数组里已经有了，就不再print了，否则将其print   测试文件：   用awk：   用sort+uniq好像出错了：   到底是为什么uniq出错了呢？不知道，但是awk真的很强大。两者的差异还在于，awk保持了文件中原本的每行的顺序，而sort必须排序，这样就变成按字母
Linux用awk去掉重复列的几种情况
pwerdu91的博客
06-29 4505
Linux用awk去掉重复列的几种情况
Linux uniq —— 如何删除某一列重复的行？
baboon_chen
07-12 6767
    linux uniq命令怎样将文件中某一列重复的行删除？     例如文件 number1.txt 中存储了你的电话簿信息，其中第一列是联系人，第二列是手机号码。电话簿中存在一个人有多个手机号码的情况，但你只想让每个人仅保留一个手机号码，将多余的手机号去除。 number1.txt ： Li 13800001115 Li 13800001112 Zhang 13800001118 Wang 13800001112 Zhang 13800001114 Wu 13800001113    这时候可以分
shell中删除文件中重复行的方法
09-15
去除文件中的重复行是一项常见的需求，本文将详细介绍几种有效的方法来实现这一目标。 #### 方法一：使用`uniq/sort`删除重复行 `uniq`命令用于报告或删除文本文件中的重复行。它要求输入已经排序，否则可能会漏删...
【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符...
小鱼菜鸟的博客
07-22 2064
目录 awk基本语法 awk输出某几列 awk遍历文件行处理 awk中运行shell命令 方法1：awk 内置函数system 方法2 通过awk print 交给bash awk中运行shell命令并用awk的参数 awk命令获取文本的某一行，某一列 AWK 技巧(取倒列，过滤行，匹配，不匹配，内置变量等) 通过第一个域找出...
grep 去除特定行_awk/sed/grep删除与其他文件中的字段匹配的行
weixin_29416629的博客
12-23 2300
我有一个file1，有几行(几十)，和一个更长的file2(〜500,000行)。每个文件中的行不相同，尽管有一些相同的字段的子集。我想从file1中的每一行获取字段3-5，并搜索file2以获得相同的模式(只是这三个字段按相同的顺序排列 - 在file2中，它们落在字段2-4中)。如果发现任何匹配，那么我想从file1中删除相应的行。awk/sed/grep删除与其他文件中的字段匹配的行例如，文...
sed与awk去除重复行
alnx37271的博客
08-29 1242
1 如果仅仅是删除内容完全一样重复行 则可以使用sort先进行排序然后使用 uniq进行删除重复数据即可 例如 CUST.TXT Txt代码 130000006800,17,151,01,250100 130000006800,17,151,01,250101 1300001077,17,151,01,256600 ...
awk过滤统计不重复的行
weixin_30587025的博客
08-18 421
awk以‘\t’为分隔符区分列 cat logs | grep IconsendRedirect | grep 1752 | awk -F'\t' '{print $8}'| wc -l awk过滤统计不重复的行 cat hello.txt | awk '!a[$0]++' | wc -l 　　 转载于:https://www.cnblogs.com/beauti...
AWK 输出重复的行 去掉重复的行
firefox_1980的专栏
05-15 5459
AWK是一个非常强大的文本处理工具。 今天尝试着去掉文件中的重复的行， 开始采用了“cat filename | sort -u" 命令， 但是这个命令有很大的缺点，改变了原来行的顺序。 用diff命令，很难查看到文件的差别。 偶然看到一个兄弟写的一个很简单的AWK命令，既能不改变原文本行的相对顺序，并且能够输出／去掉重复的行，而且命令非常简单。 awk 'a[$0]++'
awk 两个文件的两个列若相同，合并两个文件
xinxin_zhang的专栏
08-03 1万+
1.文件1 [root@bi-3 bin]# cat push  TCL_P728M       TCL     74eda717a4aef660f362f1806eb85d9d TCL_S720_JB2    TCL     ecb6724875f6361466f4e91df603f06c TCL_P728M       TCL     f654f6d4f2157a658c0d7f688
Linux命令去重统计排序（awk命令去重，sort, uniq命令去重统计）
热门推荐
风之翊的专栏
06-28 12万+
转载《利用Linux命令行进行文本按行去重并按重复次数排序》 转载《awk使用案例：通过awk去除重复行》 awk命令去重，sort, uniq命令去重统计 利用Linux命令行进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有
awk_对某一列进行去重
qiqizhiyun的专栏
02-11 2165
awk对文件某一列去重，保留最后一行 awk命令：awk '{a[$1]=$0}END{for(i in a)print a[i]}' a.txt > b.txt 去重前： 去重后：
去除重复列（awk之数组妙用）
weixin_34059951的博客
01-16 400
说明：蓝色=命令名称 浅绿=命令参数 浅蓝=选项 紫色=目录 系统环境：CentOS 6.2 i686 有文件，包含的内容如下： 去除重复列结果如下： 方法：awk '{for(i=1;i<=NF;i++)a[$i,NR]++}{for(j in a){split(j,b,SUBSEP);i...
linux 按照第一列去重,Linux sort命令使用方法
weixin_40002009的博客
05-25 2855
sort命令在Linux中主要用于对文件/字符串进行排序，并将排序结果输出。sort命令输入可以是指定的文件或数据流。本文主要介绍sort命令的基本语法和常见使用实例。sort命令语法sort命令格式：sort [选项] 文件名选项：-n：按数字排序。默认是以ASCII值进行排序。-t：指定分隔符。默认分隔符是空格或者tab键分隔-b：使用域进行分类，忽略前面空格。-r：逆向排序-u：删除所有重复...
Centos 文件删除重复值的行
最新发布
06-08
如果您想要直接删除CentOS系统中文件中的重复行，您可以使用`awk`命令和重定向操作符`>`来实现。具体命令如下所示： ``` awk '!a[$0]++' file.txt > temp.txt && mv temp.txt file.txt ``` 其中，`file.txt`是要去重的文件名。这个命令将会使用`awk`命令来去除重复的行，并将结果输出到一个名为`temp.txt`的临时文件中。然后使用`mv`命令将`temp.txt`文件重命名为`file.txt`，从而实现直接删除文件中的重复行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值