[转载]Linux下大文件的排序和去重复

最新推荐文章于 2024-05-14 11:15:57 发布
最新推荐文章于 2024-05-14 11:15:57 发布
阅读量915 收藏
点赞数
分类专栏： linux

Linux下大文件的排序和去重复

去重复行

　　简单的用法如下，如一个文件名：happybirthday.txt

　　cat happybirthday.txt (显示文件内容)

　　Happy Birthday to You!

　　Happy Birthday to You!

　　Happy Birthday Dear Tux!

　　Happy Birthday to You!

　　cat happybirthday.txt|sort （排序）

　　Happy Birthday Dear Tux!

　　Happy Birthday to You!

　　Happy Birthday to You!

　　Happy Birthday to You!

　　cat happybirthday.txt|sort|uniq (去重复行)

　　Happy Birthday Dear Tux!

　　Happy Birthday to You!

　　去大文件重复行

　　但有时碰到一个大文件时（例如G级的文件），用上面的命令时报错，提示空间不足。我尝试了一下，最后是用 split 命令把大文件分割为几个小文件，单独排完序后再合并 uniq 。

　　split -b 200m  happybirthday.big Prefix_

　　用-b参数切割happybirthday.big，小文件为200M。切割后的文件名前缀是Prefix_切割后的文件名如

　　Prefix_aa

　　Prefix_ab再分别sort

　　sort Prefix_aa >Prefix_aa.sort

　　sort Prefix_ab >Prefix_ab.sort再用 sort -m合并，再 uniq

　　cat Prefix_aa.sort Prefix_ab.sort |sort -m |uniq这是好早前碰到的一个问题了。没记错的话应该是这么回事。~

　　sort 与 uniq 命令还有许多有用的参数，如sort -m、uniq -u、uniq -d等。sort 与 uniq的组合是很强大的。

慕筱技术进阶日志
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux 文件去重
李意成的博客
03-03 2339
在查日志的时候经常会遇到文件的去重，排序获得想要的结果，下面我们就来看看具体的案例： 文本行去重：测试文件 test.txt Hello World. Apple and Nokia. Hello World. I wanna buy an Apple device. The Iphone of Apple company. Hello World. The Iphone of Apple company. My name is Friendfish. Hello World. Apple and N
linux下查找重复文件
11-11
总结一下，在Linux下查找重复文件，我们可以利用`find`、`md5sum`、`sort`和`uniq`等基本命令，形成一个无网络环境下的解决方案。这个方法不仅适用于日常使用，还能够帮助理解Linux命令行的基本用法和它们的组合能力...
【linux】linux去重的方法
热门推荐
LySunflower的博客
11-22 1万+
linux 去重方法经验分享
Linux：文件内容排序和截取工具（sort、uniq、tr、cut）
qq_57377057的博客
08-11 2852
echo "thissss is a text linnnnnnne." | tr-s'sn' #压缩输入中重复的字符。echo "1:2:3:4:5" | cut -d':' -f 1,4 #以：为分隔符，截取第1和第4列。echo "KGC" | tr 'A-Z' 'a-z' #将输入字符由大写转换为小写。cut只擅长于处理单个字符为间隔的文本，-b只能分割字母，-c既可以分割字母也可以分割中文。uniq -c 1.txt #删除文件中的重复行，并在行首显示该行重复出现的次数。......
50 亿数据如何去重&排序？海量数据去重、Top-k、BitMap问题整理
最新发布
qq_44591181的博客
05-14 889
1.Hash算法处理海量数据部分【题目1】给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？【题目2】海量日志数据，提取出某日访问百度次数最多的那个IP。【题目3】有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。【题目4】有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
Linux指令之利用uniq, sort，对大文件做排序去重
zyhmz的博客
06-30 4572
最近在对一些数据做筛洗，涉及到对大文件的排序和去重。 刚开始接触到这个这个任务，我也是各种, 想用redis, 想用bitmap。发现各种这些实现的方法都极其繁琐，而且可能极其吃内存，所以都不是很可行。在百抓挠腮之际，知乎上发现了回答，就是利用sort进行排序，然后利用uniq进行去重。 本来刚开始看到这个回答，我是持有怀疑态度的。但是进过实践发现，利用uniq 和 sort 的指令，其中间数据不...
大文件的排序和去重 超级简单的实现
weixin_34197488的博客
07-16 546
有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1T）按行来排序和去重。 一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。 在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到she...
Linux 某个目录下的文件按大小排序
07-18
du df Linux 某个目录下的文件按大小排序
GB和TB级别的大文件去重排序
04-17
该案例主要是针对大文件的去重排序项目，目前支持GB乃至TB级别的数据量，项目思路是针对大文件进行分治的项目，大文件分化成多个小文件，然后再进行排序和去重，目前是在linux系统上进行运行
linux文件属性和更改文件权限详解
01-09
1.2 linux文件系统介绍 2.更改目录/文件权限 2.1 用户和用户组的相关指令 2.2 chgrp命令 2.3 chown命令 2.4 chmod命令 2.5 umask命令  1.文件属性 1.1 ls命令 ls命令是我们最常用的命令之一,用来查看当前目录下的...
Linux下如何寻找相同文件的方法
09-14
总之，Linux提供了一系列工具帮助用户有效地管理和查找系统中的重复文件。通过理解inode机制，结合ls、find和自定义脚本，你可以有效地清理存储空间，提高系统的运行效率。在执行任何删除操作前，记得备份重要文件，...
linux下的几种文本去重方法
renxingzhadan的专栏
10-04 1157
https://blog.csdn.net/ichen820/article/details/126106051
linux文本排序统计、快捷键和通配符及引号
weixin_62443409的博客
11-10 9052
（1）格式：“wc [参数] 文件名称”（2）wc: 行数 单词数 字节数只显示行数（3）例1：查看系统中装了多少个软件。
linux shell 对两个文件的处理
train的专栏
10-10 1860
<br /> <br />(1)两个文件的交集，并集<br />前提条件：每个文件中不得有重复行<br />1. 取出两个文件的并集(重复的行只保留一份)<br />cat file1 file2 | sort | uniq > file3<br />2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)<br />cat file1 file2 | sort | uniq -d > file3<br />3. 删除交集，留下其他的行<br />cat file1 file2 | sort | uni
linux下大文件排序
BobChill的博客
07-26 1484
#!/bin/bash lines=$(wc -l $1 | sed 's/ .*//g') lines_per_file=`expr $lines / 20` split -d -l $lines_per_file $1 __part_$1 for file in __part_* do { sort $file > sort_$file } & done wait so...
Linux下大文件的排序和去重复
Sparkjin的专栏
07-16 2758
命令介绍： sort  ：将文本文件内容加以排序。 sort -u [file]  =  sort [file] | uniq （去重） 参数说明 -b 忽略每行前面开始出的空格字符 -c 检查文件是否已经按照顺序排序 -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符 -f  排序时，将小写字母视为大写字母 -l  排序时
linux去重复程序,Linux下大文件的排序和去重复
weixin_31421625的博客
05-01 526
命令介绍：sort ：将文本文件内容加以排序。sort -u [file] = sort [file] | uniq(去重)参数说明-b 忽略每行前面开始出的空格字符-c 检查文件是否已经按照顺序排序-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符-f 排序时，将小写字母视为大写字母-l排序时，除了040至176之间的ASCII字符外，忽略其他的字符-m 将几个排序好的文...
linux 使用shell脚本实现对大文件的去重排序 ——使用分割文件方法
yk_ang_ang的博客
04-10 815
对有序的大文件的去重排序，首先确定文件大小，分割比例，直接上代码： #!/bin/bash #号是注释 #文件名称，改为自己的实际文件路径 #文件内容每行都类似 2ff9a2acc|8.0.0.168|Anc|6.1x64|2052|2018-01-25 split_file_name=logon.txt #去掉空格统计文件行数 lines=`wc -l $split_file_nam...
linux文件大小排序
03-16
Linux文件大小排序可以使用ls命令结合sort命令实现。具体操作如下： 1. 打开终端，进入要排序的目录。 2. 输入以下命令： ls -l | sort -k 5 -n 其中，ls -l命令可以列出目录下所有文件的详细信息，包括文件大小；sort命令可以对文件大小进行排序，-k 5表示按照第5列（即文件大小）排序，-n表示按照数字大小排序。 3. 按下回车键，即可按照文件大小从小到大排序。 如果要按照文件大小从大到小排序，只需要在sort命令后加上-r参数即可，即： ls -l | sort -k 5 -n -r 这样就可以按照文件大小从大到小排序了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值