shell第一列相同即判断为重复，只取其中一条数据

最新推荐文章于 2022-12-23 18:44:24 发布
最新推荐文章于 2022-12-23 18:44:24 发布
阅读量1.1k 收藏 1
点赞数
文章标签： shell awk 操作系统
原文链接：https://yq.aliyun.com/articles/524582
版权

例如 123456.txt内容如下

90115601,2137786735     36684

90115601,2137786735     36684

90118301,17751822       34898

90145133,2050186877     3847

90145133,2050186877     3847

90151825,3580430507     37974

90151825,3580430507     37974

90188754,2987861307     24533

90188754,2987861307     24533

910910,1303405168       1855

910910,514876016        1555

991314,1879979639       49504

991314,4119267805       50922

998008,1453233015       13818


取第一条数据

tac 123456.txt |awk  -F, '!a[$1]++'  |sort -t"," -k1


取最后一条数据

cat 123456.txt |awk  -F, '!a[$1]++'  |sort -t"," -k1










本文转自 chengxuyonghu 51CTO博客，原文链接：http://blog.51cto.com/6226001001/1904482，如需转载请自行联系原作者
weixin_34321977
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
typora插件_Typora+zotero搞定Markdown随写随引
weixin_39628405的博客
12-10 2411
使用工具及简要安装Typora超级好用的免费Markdown编辑器，在尝试了多款Markdown软件之后，我选择了它。下载链接：[Typora官网] https://www.typora.io/ Zotero文献管理软件，插件Better Bibtex必须安装。相关的安装链接如下：[Zotero下载] https://www.zotero.org/download/ [Better B...
shell第一列相同即判断为重复，取其中一条数据
Tak-Wah Blog
11-06 710
例如 123456.txt 内容如下： 90115601,2137786735 36684 90115601,2137786735 36684 90118301,17751822 34898 90145133,2050186877 3847 90145133,2050186877 3847 90151825,3580430507 37974 90151825,3580430507 37974 90188754,2987861307 24...
取第一列内容 shell cut
我在深圳的这些日子的博客
12-23 1187
Linux文字 处理
关于shell命令中 sort -nu 排序英文只出一行（一部分解答与疑问）
LiReign的博客
09-18 2325
准备1.txt [root@node01 opt]# vim 1.txt banana apple pear orange pear 正常的sort 和 不正常的sort -nu [root@node01 opt]# sort 1.txt apple banana orange pear pear [root@node01 opt]# sort -n 1.txt apple banana orange pear pear [root@node01 opt]# sort -u 1.txt apple ban
vc++ 应用源码包_1
09-15
另外有只打开一个应用程序、CRichEdit的使用、最小到托盘、自动检测在线用户（多播组）等。 freeeim_FreeEIM_企业即时通讯软件源代码2010年8月份最新版 FTP、HTTP 多线程断点续传下载文件 源码 gdiplus应用实例 ...
Excel VBA实用技巧大全 附书源码
10-08
03005引用第一个工作表 03006引用最后一个工作表 03007引用所有的工作表 03008引用指定的多个工作表 03009引用新建的工作表 03010引用包含特定单元格的工作表 03011引用工作表名称中包含特定字符串的工作表 03012...
我整理的VBA 自定义函数大全 共138页
11-21
150.把第一列=某个值对应的第二列的内容连在一起，并用、隔开 151.取得系统使用模式 152.计算机注销/关机/重启 153.更改计算机名称 154.从n位开始取出字符串中的汉字、英文字母、数字 155.在指定列中寻找含有指定...
JAVA上百实例源码以及开源项目源代码
09-17
　当用户发送第一次请求的时候，验证用户登录，创建一个该qq号和服务器端保持通讯连接得线程，启动该通讯线程，通讯完毕，关闭Scoket。 　QQ客户端登录界面，中部有三个JPanel,有一个叫选项卡窗口管理。还可以更新...
excel中161个VBA_自定义函数超级实用
03-28
函数作用:从工作表第一行的标题文字以数字形式返回所在列号..................................................58 '34.函数作用:在多个工作表中查找一个范围内符合某个指定条件的项目对应指定范围加总求和............
linux文件查重内容吗,linuxshell删除重复文件只保留一份
weixin_36182568的博客
05-09 199
#!/bin/bash#name:remove_one.sh#用途：查找并删除重复文件，每个文件只保留一个样本#将文件依据大小排序并输出ls -lS | awk 'BEGIN {#得到第一行total总数并丢弃，读取下一行getline;getline;name1=$9;size=$5;}{name2=$9;if(size==$5)#大小一样的可能是内容相同的文件{#用md5进行校验和("md5s...
Shell脚本监控错误日志
山炮运维
08-27 2464
错误日志事需要写到指定的文件位置，写脚本监控监控日志文件发企业微信告警。 分享下监控日志文件的思路，就是记录每次读取到的行号 用crontab 每隔一段时间调用就好，有记录行号不怕重复发送日志 #!/bin/bash #监控错误日志 set -e -u -o pipefail row_number=0 #初始行号 这边用sed记录了行号 用于从上一次的位置开始读取 wx(){ #读取日志发送到企业微信 企业微信机器人使用方法 https://blog.csdn.net/weixin_46175620/ar
shell 截取前两列
大叶子不小的博客
01-12 1727
awk '{print substr($0, index($0, $3))}' cut -d " " -f 3- input_filename > output_filename 给出一个字符串，让你截取其中的某个部分如何用awk实现？ 比如 123456789 3333344这样两个数字串，现在要截取第一个数字串的56，以及第二个数字串的44 echo "123456789 3333344" | awk '{print substr($1,5,2)}' 1 $1指的是第一列，也就是1.
shell：命令执行结果获取指定行、指定列
热门推荐
onj123的博客
09-11 3万+
awk 1. 获取第一列 ps -aux | grep watchdog | awk '{print $1}' 2. 获取第一列，第二列，第三列 ps -aux | grep watchdog | awk '{print $1, $2, $3}' 3. 获取第一行的第一列，第二列，第三列 ps -aux | grep watchdog | awk 'NR==1{print $1, $2, $3}...
牛客-SHELL10-第二列是否有重复
こ Noahっ的博客
05-24 339
题干： 给定一个 nowcoder.txt文件，其中有3列信息，如下实例，编写一个shell脚本来检查文件第二列是否有重复，且有几个重复，并提取出重复的行的第二列信息： 实例： 20201001 python 99 20201002 go 80 20201002 c++ 88 20201003 php 77 20201001 go 88 20201005 shell 89 20201006 java 70 20201008 c 100 20201007 java 88 20201006 go 97 结果：
shell取出多列文件中某一列重复的数据
weixin_30894583的博客
09-25 693
文件内容的格式是： 1　　张三 2　　李四 3　　张三 第二列有重复数据，去重的脚本如下： #!/bin/bash sort -t\t -k2 File.txt | awk -F'\t' '{ if($2 == VALUE) {} else if($2 != VALUE) { VALUE = $2; print $0; } }' > t...
通过shell取多条重复数据的最后一条
醉世老翁的博客
06-29 3989
任务说明：日志文件中存在多条记录，现要求取出文件中的某两列，而且是去重，取最新的一条记录（就是取这个ID最后出现的那一行的那两列）脚本代码如下：#shell声明#!/bin/bash#获取最后一行的行号line_desc_num=`awk 'END{print NR}' log.txt`#循环每一行，从第一行开始for i in $line_desc_num#进入循环do#取出这一行的第六列和第七...
shell脚本判断文件每一行第一列的数据是否在一个范围内
最新发布
03-10
例如，假设要判断文件file.txt中每一行第一列的数据是否在1到100之间，可以使用以下命令： awk '$1>=1 && $1在范围内"} $1<1 || $1>100 {print "不在范围内"}' file.txt 其中，$1表示第一列的数据，&&表示逻辑与，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值