shell 取出第一列相同但第二列不同的行

最新推荐文章于 2021-06-03 18:01:38 发布
最新推荐文章于 2021-06-03 18:01:38 发布
阅读量4.5k 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_34457546/article/details/78496597
版权

需求

处理前：

  小明   234
  小方   235
  小明   234
  小明   345

处理后
小明    234

小明   345

解决方案1：

awk '!a[$1]++{s[$1]=$0;b[$1$2]++;next} a[$1]++&&!b[$1$2]++{s[$1]=s[$1]!=""?s[$1]"\n"$0:$0;print s[$1];s[$1]=""}' filename


github_zwl
关注
【Shell】awk命令--输出某列，列求和，列求平均值，列最大值，列去重复，取倒列，过滤行，匹配，不匹配，内置变量|定义分隔符|多个分隔符...
小鱼菜鸟的博客
07-22 2058
目录 awk基本语法 awk输出某几列 awk遍历文件行处理 awk中运行shell命令 方法1：awk 内置函数system 方法2 通过awk print 交给bash awk中运行shell命令并用awk的参数 awk命令获取文本的某一行，某一列 AWK 技巧(取倒列，过滤行，匹配，不匹配，内置变量等) 通过第一个域找出...
awk取文本列_Linux：使用awk命令获取文本的某一行，某一列，awk删
weixin_31488273的博客
12-30 2123
shell 删除文件某一行shell 删除文件某一行@126/blog/static/16671908420129111443343/awk NR>1 AIRA_GPS.aload>ccc去掉第一行awk NR>2{print p}{p=$0} urfile第一行时, NR=1, 不执行print, p=第一行的内容第二行时, NR=2, 不执行print, p=第二行的内容第三...
shell第一列相同即判断为重复，取其中一条数据
chengxuyuanyonghu的专栏
03-08 6638
例如 123456.txt内容如下 90115601,2137786735     36684 90115601,2137786735     36684 90118301,17751822       34898 90145133,2050186877     3847 90145133,2050186877     3847 90151825,35804
shell 第一列相同 则拼接第二列
weixin_33700350的博客
06-29 2069
awk '{a[$1]=a[$1]?a[$1]FS$2:$2}END{for(i in a)print i,a[i]}' file 转载于:https://blog.51cto.com/aixuexi/912644
linux合并第一列相同的行,linux – 合并重复的行并在最后添加“N / A...
weixin_39610724的博客
05-25 1179
{ nl -s\; -w1 -ba |sort -t\; -k2,2 |sed -e:n -e'h;$!N' \-e's/^\([^;]*\(;[^;]*;\).*\)\n[^;]*\2/\1;/;tn' \-ex -e:N \-e's/;/;/6p;tD' \-e's|$|;N/A|;tN'\-e:D -ex -eD |sort -t\; -nk1...
如何输出第二列相同的行
weixin_34315189的博客
08-28 174
文本格式如下，以“|”作为分隔符 10999201508261233197418182901054|63a96a66ba024913aa1c0d377cf95fb4||20150826|aa 10999201508261233197418182901054|63a96a66ba024913aa1c0d377cf95fb3||20150826|bb 如何输出第二列相同的行，即如果第二列...
shell中的简单命令（diff，cut，sort，uniq，test命令&& 和 ||）
qq_44236589的博客
08-17 418
一、diff在比较文件过程中结果读取方式 概念 [num1 , num2][a/c/d][num3 , num4] nmu1,num2表示在第一个文件中的行数 a表示添加 —add c表示更改 —change d表示删除 —delete <表示第一个文件中的内容，>表示第二个文件中的内容， —表示分隔线 num3 ， num4表示在第二个文件中的行数 2，4c2，4表示改变第一个文件...
shell：命令执行结果获取指定行、指定列
onj123的博客
09-11 3万+
awk 1. 获取第一列 ps -aux | grep watchdog | awk '{print $1}' 2. 获取第一列，第二列，第三列 ps -aux | grep watchdog | awk '{print $1, $2, $3}' 3. 获取第一行的第一列，第二列，第三列 ps -aux | grep watchdog | awk 'NR==1{print $1, $2, $3}...
使用shell脚本取出服务器图片的方法
01-09
Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。 一 ，SHELL 是什么 　（1）shell是一种命令行解释器。 　（2）是用户和Linux内核之间沟通的桥梁，属于中间件。见下图 　...
oracle求一行多列最大值,Oracle分组后取某列最大值的行数据
weixin_35282782的博客
04-11 5711
select * from (select last_comment, row_number() over(partition by employeeid,roadline,stationname order by logindate desc) rnfrom reocrd) t where t.rn <=1这段的意思是,将reocrd表根据员工工号(employeeid),线路(...
shell中按列值统计行数及去除重复值
w417318472的专栏
03-28 4349
测试文件在系统文件中的shell文件夹中的test.log文件，内容为： abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! afdsaff adfgaga 63542 fdasg sdfasfd sdafadf 12345 asdga jfaldjf sdfasfs 6354
shell awk、去重、排序
感谢你的关注~~~~ღ( ´･ᴗ･` )
06-03 1576
数据
shell—字符串截取和去重
水木梵华
04-13 6327
字符串截取的八种方法和去重 # 号截取 1、单#号 2、双#号截取 %号截取 1、单%号 2、双%号 : 号截取 1、左侧 2、右侧 去重 1、sort -u&nbsp; 2、uniq 3、示例 字符串截取的八种方法和去重 Note： 本文不是采用的sed剪裁方法 Note： 本文截取 # 号截取 1、单#号 单#号截取，可以删...
excel中如何筛出第一列相同第二列不同的两行数据
luzle的专栏
03-20 1万+
选中 A列 数据有效性验证（高本的的在数据选项卡的 数据验证） 自定义…… 输入 =A1&lt;&gt;B1 其他的提示信息什么的 你自己根据需要填写…… 选中B列 ……输入 =B1&lt;&gt;A1…… 两次 设置 数据验证 规则 就可以了…… sorry！之前没看到 你的下面描述理解错了 以为是同一行不能重复哪…… 还是有效性验证 设置： 选中A、B两列 然后 自定义 输入 =SUMP...
『现学现忘』Shell编程 — 24、cut列提取命令
繁华似锦Fighting
10-29 1054
文章目录1、cut命令说明2、cut命令练习（1）cut命令基本用法（2）cut命令选取多列（3）按字符来进行提取（4）按指定分隔符进行截取数据3、cut命令分隔符说明 1、cut命令说明 cut命令的作用是对文本中的内容进行截取。 一个文件里边有很多数据，grep命令是用来提取文本内容包含匹配规则的行，而cut命令是用来截取文本内容中的列数据。 [root@localhost ~]# cut [选项] 文件名 选项： -f 列号：提取第几列。 -d 分隔符：按照指定分隔符分割列，默认分隔符是制表符
linux shell命令awk 提取文档第一列内容
热门推荐
luochenhuan123的专栏
01-22 10万+
1. 原文档内容格式： 词组 拼音 次序 阿爸 a1'ba4 18137 阿昌族 a1'chang1'zu2 50849 阿斗 a1'dou3 42632 阿飞 a1'fei1 48603 阿富汗 a1'fu4'han4 3461 阿訇 a1'hong1 34432 阿拉伯数字 a1'la1'bo2'shu4'zi4 35937 阿拉伯语 a1'la1'
shell脚本 获取第几行 第几列 的命令 awk sed
请大家直接把问题写在评论区或留言，不要只说一句"你好 或 在吗"，我会尽快回复的。
06-03 6万+
例如:我们需要查看 包含 sbin的进程 中的PID号查看当前所有包含sbin的进程[root@fea3 ~]# ps aux | grep sbin只过滤出所有的PID号：[root@fea3 ~]# ps aux | grep sbin | awk '{print $2}'只获取前三行PID号：使用命令sed -n 指定行数；-n '2p':第二行；-n '1,3p':第一至三行[root@f...
adb shell 判断文件第二行字符是否为空
最新发布
05-25
}" file.txt` 取出文件的第二行。 2. `tr -d " \t\n\r"` 将第二行中的空格、制表符和换行符删除。 3. `wc -m` 统计删除后的字符串的长度。 如果第二行字符串长度为0，则表示第二行为空。如果长度大于0，则表示第二...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值