linux sort 按列去重

最新推荐文章于 2023-10-09 21:51:07 发布
最新推荐文章于 2023-10-09 21:51:07 发布
阅读量1.9w 收藏 11
点赞数 6
分类专栏： linux awk-sed
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqfhenanxc/article/details/81937584
版权

 

有时候需要按照某些列去除重复，此时uniq无法做到，可以用sort做到：

sort -t ','  -k 1,1 -u

其中 -t 指定列之间的分隔符， -k 指定从第几列到第几列作为去重标准

wqfhenanxc
关注
  • 6
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Linux实现文件内容去重及求交并差集
01-09
一、数据去重 日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。 案例如下： 可以看到aaa.txx有3条重复数据 想去掉多余的数据，只保留一条 sort aaa.txt | uniq > bbb.txt 将aaa.txt文件中重复数据去掉，输出到bbb.txt 可以看到bbb.txt文件中只保留了一条数据 二、数据交、并、差 1)、交集(相当于user_2019 inner join user_2020 on user_2019.user_no=u
Linux文本使用uniq去重
fushan2012的博客
04-07 605
命令默认是基于行进行去重，因此如果需要基于其他条件进行去重，例如某一列的值，可以使用。命令可以检测并删除文本文件中相邻的重复行，并输出结果到标准输出。在 Linux 中，可以使用。命令进行排序，然后再使用。命令对文本进行去重操作。
linux中sort和uniq命令
春日野穹
10-25 4927
0x1 sort命令 命令说明： sort命令将文本文件内容加以排序,sort可针对文本文件的内容，以行为单位来排序 参数： -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。 -f 排序时，将小写字母视为大写字母。 -i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。 ...
linux列去重命令,Linux 命令 uniq 去重用法-Fun言
weixin_39707693的博客
04-29 565
uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列。命令语法：uniq [-c/d/D/u/i] [-f Fields] [-s N] [-w N] [InFile] [OutFile]参数解释：-c: 在每列旁边显示该行重复出现的次数。-d: 仅显示重复出现的行列，显示一行。-D: 显示所有重复出现的行列，有几行显示几行...
Linux数据处理命令
最新发布
Royi的学习博客
10-09 74
行缓冲是一种缓冲策略，它用于在程序运行时存储输入和输出操作的结果，以便在满足一定条件时将它们输出到屏幕或文件中。行缓冲的基本思想是，当程序运行时，输入和输出操作的结果会被暂存到缓冲区中，而不是立即输出到屏幕或文件中。只有当缓冲区中的数据达到一定数量或满足一定条件时，才会将缓冲区中的数据输出到屏幕或文件中。一般来说，行缓冲的刷新条件可以是缓冲区填满、写入的字符中有换行符或调用特定的函数等。它比较文件中相邻的行并删除重复行。命令可以用于对文本文件进行格式化或排版，特别适用于需要对文件的每一行进行编号的情况。
linux去重文件第一列,科学网—Linux实用命令 - 刘洪波的博文
weixin_39958025的博客
05-10 215
1、查看系统访问日志(实时)tail --lines=100 -f /var/log/secure2、按列合并文件pastefile1file2 >combind.txt3、按行合并文件cat file1file2 >combind.txt4、Linux：使用awk命令获取文本的某一行，某一列1)、打印文件的第一列(域) ： awk '{print...
Linux命令_sort & 排序、去重
m0_61066945的博客
10-29 3585
Linux排序、去重；按数字大小排序、按文件大小排序
linux 按照第一列去重,Linux sort命令使用方法
weixin_40002009的博客
05-25 2736
sort命令在Linux中主要用于对文件/字符串进行排序，并将排序结果输出。sort命令输入可以是指定的文件或数据流。本文主要介绍sort命令的基本语法和常见使用实例。sort命令语法sort命令格式：sort [选项] 文件名选项：-n：按数字排序。默认是以ASCII值进行排序。-t：指定分隔符。默认分隔符是空格或者tab键分隔-b：使用域进行分类，忽略前面空格。-r：逆向排序-u：删除所有重复...
【linux】linux去重的方法
LySunflower的博客
11-22 1万+
linux 去重方法经验分享
linux之去重uniq命令详解
热门推荐
qq_43382735的博客
10-28 1万+
linux之去重uniq命令详解 uniq是对文本文件进行行去去重的工具。 以行为单位，进行行与行之间的字符串比较并进行去重 只能对有序的文本行进行有效去重，所以常与sort命令结合使用 参数 解释 -c 统计行出现的次数 -d 只显示重复的行并且去重 -u 只显示唯一的行 -i 忽略字母大小写 -f 忽略前N个字段（字段间用空白字符分隔） 1.与sort结合使用 准备文件 [root@linuxforliuhj test]# cat hello.sh hello
linux之sort命令的用法
09-04
sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出
Linux sort命令用法详解
01-09
Linux sort命令 Linux sort命令用于将文本文件内容加以排序。 sort可针对文本文件的内容，以行为单位来排序。 语法 sort [-bcdfimMnr][-o][-t][+-][--help][--verison][文件] 参数说明： -b 忽略每行前面开始出的...
linux sort多字段排序实例解析
01-10
本文研究的主要是linux sort多字段排序，具体介绍如下。 Linux多数发行版自带的sort程序，非常强大，在此只说多字段排序 sort 有个参数-k，可以指定字段，有比较复杂的语法，不在文本范围内。 一下为一段数据（从...
Linux TCP 缓冲区参数调优
wqfhenanxc的专栏
08-31 8502
  系统原值： [wqf@admin autopush]$ cat /proc/sys/net/core/rmem_max 4194304 [wqf@admin autopush]$ cat /proc/sys/net/core/wmem_max 1048576 [wqf@admin autopush]$ cat /proc/sys/net/ipv4/tcp_rmem 4096 873...
Linux TCP 参数设置
wqfhenanxc的专栏
10-31 6344
   在TCP链接建立之后，如果应用程序或者上层协议一直不发送数据，或者隔很长时间才发送一次数据，当链接很久没有数据报文传输时如何去确定对方还在线，到底是掉线了还是确实没有数据传输，链接还需不需要保持，这种情况在TCP协议设计中是需要考虑到的。    TCP协议通过keepalive这种巧妙的方式去解决这个问题，其原理就是TCP内嵌的一个心跳包。当超过一段时间之后，TCP自动发送一个数据为空的报...
GCC -Wl选项
wqfhenanxc的专栏
02-03 5777
默认情况下，GCC/G++链接时优先链接动态库，如果没有动态库，则链接相应的静态库。同时，GCC/G++也提供了链接选项 -Wl,-Bstatic 和 -Wl,-Bdynamic 供用户指定链接动态库或者静态库。 -Wl,-Bstatic指示跟在后面的-lxxx选项链接的都是静态库，-Wl,-Bdynamic指示跟在后面的-lxxx选项链接的都是动态库。 例如： -Wl,-Bs...
Linux安全检查
wqfhenanxc的专栏
09-06 5334
检查设备密码复杂度策略 1. 检查密码复杂度策略中设置的大写字母个数      2. 检查密码复杂度策略中设置的数字个数 3. 检查密码复杂度策略中设置的特殊字符个数 4. 检查密码复杂度策略中设置的小写字母个数 Redhat系统：修改/etc/pam.d/system-auth文件,  Suse9：修改/etc/pam.d/passwd文件，  Suse10,Suse11：修改/etc...
awk 处理多个文件
wqfhenanxc的专栏
06-12 4347
awk可以使用自身变量NR和FNR来处理多个文件。 NR：表示awk开始执行程序后所读取的数据行数。 FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从0开始重新计数，而NR不会）。 NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件。 #下面语句用于合并两个文件，对于第1列相同的那些行，输出第一个文件和第二个文件...
linux 以列去重
07-27
要在Linux中以列去重，可以使用awk命令结合sort和uniq命令。首先，使用awk命令提取需要去重的列，然后使用sort命令对该列进行排序，最后使用uniq命令进行去重。 例如，如果我们有一个文件file.txt，包含两列name和age，我们想要以name列进行去重，可以使用以下命令： awk -F, '{print $1}' file.txt | sort | uniq 其中，-F,表示以逗号作为列分隔符，'{print $1}'表示打印第一列name。然后，使用sort命令对该列进行排序，再使用uniq命令进行去重。这样就可以实现以列去重的目的。 请注意，如果需要基于其他列进行去重，只需将'{print $1}'中的$1替换为相应的列号即可。 #### 引用[.reference_title] - *1* *3* [【linux】linux去重的方法](https://blog.csdn.net/LySunflower/article/details/127985765)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Linux文本使用uniq去重](https://blog.csdn.net/fushan2012/article/details/130010487)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值