shell第一列相同即判断为重复，取其中一条数据

最新推荐文章于 2024-05-23 17:22:27 发布
最新推荐文章于 2024-05-23 17:22:27 发布
阅读量733 收藏
点赞数
分类专栏： shell 文章标签： linux shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wdh315172/article/details/109533214
版权

例如 123456.txt 内容如下：

90115601,2137786735     36684
90115601,2137786735     36684
90118301,17751822       34898
90145133,2050186877     3847
90145133,2050186877     3847
90151825,3580430507     37974
90151825,3580430507     37974
90188754,2987861307     24533
90188754,2987861307     24533
910910,1303405168       1855
910910,514876016        1555
991314,1879979639       49504
991314,4119267805       50922
998008,1453233015       13818

 

取第一条数据

cat 123456.txt | awk  -F, '!a[$1]++'  | sort -t"," -k1

 

取最后一条数据

tac 123456.txt | awk  -F, '!a[$1]++'  | sort -t"," -k1

 

我是京城小白
关注
专栏目录
linux shell 脚本 入门到实战详解[⭐建议收藏！！⭐]
心有鸿鹄天地，不敢妄坠人间
09-28 28万+
文章目录shell 入门到实战详解[⭐建议收藏！！⭐]关于作者**作者介绍**一、shell 入门简介1.1 什么是shell1.2 shell 编程注意事项1.3 第一个shell 脚本 hello world二、shell 环境变量讲解2.1 shell 变量详解2.2 shell 系统变量 介绍2.3 shell 环境变量 介绍2.3.1 常见的系统环境变量2.4 shell 用户环境变量 介绍2.4.1 自定义shell环境变量2.4.2 echo 打印菜单栏2.4.3 shell 中彩色输出 h
如何解决 shell 脚本重复执行的问题
fengye_csdn的博客
05-19 1540
在开发过程中，经常会使用shell脚本去完成定时备份的任务，普遍的做法是通过系统的定时任务定时执行备份脚本 设想这样一种场景，本次备份时间到了，自动执行备份脚本，如果备份比较耗时的话，会一直持续到下一次备份时间到了还未结束，下次备份又会自动调用备份脚本，相当于同一时间有两个进程在执行备份脚本，这可能会导致备份数据错乱或其他不可预知的问题 更进一步，假如执行备份脚本消耗的时间远大于设置的备份间隔的话，系统会出现多个同时在执行脚本的Bash实例，会占用大量的系统资源，进而影响正常业务程序的运行 那如何解决上述.
通过shell取多条重复数据的最后一条
醉世老翁的博客
06-29 4033
任务说明：日志文件中存在多条记录，现要求取出文件中的某两列，而且是去重，取最新的一条记录（就是取这个ID最后出现的那一行的那两列）脚本代码如下：#shell声明#!/bin/bash#获取最后一行的行号line_desc_num=`awk 'END{print NR}' log.txt`#循环每一行，从第一行开始for i in $line_desc_num#进入循环do#取出这一行的第六列和第七...
shell 取出第一列相同但第二列不同的行
github_zwl的博客
11-10 4576
需求 处理前：   小明   234   小方   235   小明   234   小明   345 处理后 小明   234 小明   345 解决方案1： awk '!a[$1]++{s[$1]=$0;b[$1$2]++;next} a[$1]++&&!b[$1$2]++{s[$1]=s[$1]!=""?s[$1]"\n"$0:$0;print s[$1];s[$
JS深度监听判断两个数组或者对象或者基础数据类型字段相同
weixin_44903107的博客
12-04 458
/** * 判断此对象是否是Object类型 * @param {Object} obj */ function isObject(obj) { return Object.prototype.toString.call(obj) === '[object Object]'; }; /** * 判断此类型是否是Array类型 * @param {Array} arr */ function isArray(arr) { .
shell取出多列文件中某一列重复的数据
weixin_30894583的博客
09-25 709
文件内容的格式是： 1　　张三 2　　李四 3　　张三 第二列有重复数据，去重的脚本如下： #!/bin/bash sort -t\t -k2 File.txt | awk -F'\t' '{ if($2 == VALUE) {} else if($2 != VALUE) { VALUE = $2; print $0; } }' > t...
考研数据结构判断题整合
Touale的博客
11-20 1225
6 （ ）对于顺序存储的栈，因为栈的空间是有限的，在进行push运算时，可能发生栈的上溢，在进行pop运算时，可能发生栈的下溢。3、（ ）若有一个结点是二叉树中某个子树的中序遍历结果序列的最后一个结点，则它一定是该子树的前序遍历结果序列的最后一个结点。3 （ ）用相邻矩阵法存储一个图时，在不考虑压缩存储的情况下，所占用的存储空间大小与图中结点的个数有关，而与图的边数无关。3 （__）用相邻矩阵法存储一个图时，在不考虑压缩存储的情况下，所占用的存储空间大小与图中结点的个数有关，而与图的边数无关。
考研数据结构判断题整合_做题版
Touale的博客
11-28 1432
6 （ ）对于顺序存储的栈，因为栈的空间是有限的，在进行push运算时，可能发生栈的上溢，在进行pop运算时，可能发生栈的下溢。3、（ F ）若有一个结点是二叉树中某个子树的中序遍历结果序列的最后一个结点，则它一定是该子树的前序遍历结果序列的最后一个结点。3 （ ）用相邻矩阵法存储一个图时，在不考虑压缩存储的情况下，所占用的存储空间大小与图中结点的个数有关，而与图的边数无关。10 （_）若有一个结点是某二叉树子树的前序遍历序列中的最后一个结点，则它必是该子树的中序遍历序列中的最后一个结点。
linux shell脚本查找重复行/查找非重复行/去除重复行/重复行统计
热门推荐
pingD的专栏
12-07 3万+
去除重复行 sort file |uniq查找非重复行 sort file |uniq -u查找重复行 sort file |uniq -d统计 sort file | uniq -c
shell第一列相同即判断为重复，只取其中一条数据
weixin_34321977的博客
11-23 1150
例如 123456.txt内容如下 90115601,2137786735 36684 90115601,2137786735 36684 90118301,17751822 34898 90145133,2050186877 3847 90145133,2050186877 3847 90151825,35...
SHELL------第二列是否有重复
or_yx的博客
09-21 630
SHELL--awk方法判断第二列是否有重复
shell统计每列的重复个数
shandianling
12-17 1万+
需求:统计每个进程使用的句柄(文件)数 方法一: 使用awk (可不要求排序) sudo lsof  |  sed '1,2d' | awk '{++map[$1]}END{ for( i in map ){print i,map[i] } }' | sort -rnk 2  (实际为统计第一列的的重复个数) 解释:map可理解为key-value对象 sort的中的
shell 字符串中是否包含任一字符串
qq_41221841的博客
01-19 939
#!/bin/bash if [[ $1 =~ ["hello","world"] ]]; then echo "包含hello或者world" else echo "不包含" fi
shell中按列值统计行数及去除重复值
w417318472的专栏
03-28 4358
测试文件在系统文件中的shell文件夹中的test.log文件，内容为： abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! afdsaff adfgaga 63542 fdasg sdfasfd sdafadf 12345 asdga jfaldjf sdfasfs 6354
检查重复数据shell公共脚本
fly_sky333的博客
10-30 462
#!/bin/bash cd $(cd $(dirname $0); pwd) set -e source ~/env.sh runday=$(date -d "-1 days" +"%Y-%m-%d") table_name="" check_partition="" check_partition2="" table_name_tmp=$1 check_partition_tmp=$2 check_partition_tmp2=$3 #获取要检查的表名 if [[ "${table_name_tmp:.
shell 命令之 校验，核实。排序，单一和重复
weixin_40026739的博客
09-30 405
md5sum sha1sum 生成校验字符串 md5sum filename 将生成的校验字符串重定向到文件 md5sum file2 file2 fileSum.md5 校验数据的完整性 md5sum -c fileSum.md5 用所有的文件来检验所有的文件 md5sum *.md5 md5sum sha1sum执行过程一样 对目录进行校验和 md5deep -rl directory_path > directory.md5 -rf -r 递归的方式 -l 使用相对路径 结合fin
vue watch深度监听数组每一项的变化
最新发布
苦夏木禾
05-23 1679
在 Vue 中，watch 选项默认只能监听对象的属性变化，无法直接监听数组的变化。
在一段文本中查看可能存在的重复文本
HonWee90的博客
10-19 532
在排查服务端并发问题的时候，需要在一堆日志中找出可能存在的两个相同UUID的文本，手动排查效率教低 可以使用 shell命令组合： cat xxx-server-2021-10-19.log| grep "UnRegPlugin Start -------------------------wsSocketId:"| awk -F ":" '{print $5}' > ff 先匹配出对应的UUID 然后通过wps的高亮重复项来检测 ...
shell脚本判断文件每一行第一列的数据是否在一个范围内
03-10
可以回答这个问题。可以使用awk命令来实现。例如，假设要判断文件file.txt中每一行第一列的数据是否在1到100之间，可以使用以下命令： awk '$1>=1 && $1<=100 {print "在范围内"} $1<1 || $1>100 {print "不在范围内"}' file.txt 其中，$1表示第一列的数据，&&表示逻辑与，||表示逻辑或。如果第一列的数据在1到100之间，则输出"在范围内"，否则输出"不在范围内"。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值