外部排序：如何排序10G个元素

最新推荐文章于 2023-04-07 11:44:38 发布
最新推荐文章于 2023-04-07 11:44:38 发布
阅读量213 收藏 1
点赞数
文章标签： 算法 排序算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38404857/article/details/110502400
版权

手段：用扩展的归并排序

归并排序（一个稳定的排序）

将数据分为左右两半，分别归并排序，再把两个有序数据归并。
精髓在于不断选各个组最小的数。

K路归并

上面举的例子是二路归并，每次选两组数据头部最小的数据就可以了，仅仅比较一次，但是K路归并，也就是要选K组数据头部最小的数据就没有这么容易了 。我们要用到堆的数据结构，这个堆是个完全二叉树，根是树中最小的元素，子树的根也是子树的最小元素
库函数有PriorityQueue实现了这个堆算法
在这里插入图片描述
将归并好的数据送入归并节点也需要注意，因为归并节点的内存没有10G。解决办法就是每次把K组数据头部的最小的一批数据送入内存。
在这里插入图片描述
假如一组数据都被读完了就从硬盘/网络中再调一批。
我们发现管理缓冲区非常麻烦，这时就要使用iterable< T >的接口，这是一个位于内存和网络/文件间的一个接口，专门用来管理缓冲区
在这里插入图片描述

WADtiti
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
排序10G的大文件
wjlucky262的专栏
07-08 2455
一个文件，大小10G，里面都是用逗号分隔的整型数字。怎么排序？文件大概张这个样子。 这个问题的麻烦显然是『大』，多大算大 ，10G，100G，1000G，显然不能考虑直接使用内存来搞。 很显然，分治思维是必然的，需要拆分文件。 直接说下思路，然后上代码。 1.把10G大小的文件拆分成N个小文件，每个文件1M 2.把每个文件拉倒内存排序，可以并行操作，在内存中直接使用快排，然后写入文件 3.对文件做两两合并。 前两步都好办，代码也好写。第3步文件合并，需要考虑几个问题。 ① 2个1M的有序文件怎么合并？ 先
php对10g文件进行排序,归并排序，外排序，10G文件500M内存的排序
weixin_30135925的博客
03-11 448
归并排序可以是一种外排序，　外排序是指利用外存也就是磁盘进行排序的一种简称。典型的应用是hadoop　的 mapreduce 的merge 阶段归并排序的：　假设有n　个元素，　将n 个元素分程x　组, 然后对每一组的元素进行排序，　然后将这 x　组已经排好序的序列合并起来。说一下分成x　组的方式，　大概有两种：第一种：　递归的方式, 　这种情况你可能都不会去关心 x 大小。第二种：　每组　m　个...
10G文件如何对里面单词出现排序
weixin_30580341的博客
07-13 192
10G文件如何对里面单词出现排序的问题（只要文件系统支持，不限大小）。 其实这个问题很简单，10G文件是很大，但是出现的字符或单词是很有限的。 单字符只有那么一百多个，单词数量满打满算，以英文单词总数65万个为例。全部，统称为单词。单词数量按65万个计算。仅仅每个单词的重复出现（频率）扩大了文件容量而已。即便是100G的文件，出现的单词也是这些。 文件绝对不需要全载入内存，只需要顺次读取扫描...
海量数据排序，数据量大于内存大小，如何实现排序
yzx3105的博客
04-07 968
对于输入缓存区，当一个块的9M数据全部使用完，载入该块接下来的9M数据，一直到所有的9个块的所有数据都已经被载入到内存中被处理过。则最小的数位于堆顶，移除堆顶元素并写入缓冲区，然后从移除元素的元素所属数组中的下一位进入最小堆，再次移除堆顶进入缓冲区…外排序采用分块的方法（分而治之），首先将数据分块，对块内数据按选择一种高效的内排序策略进行排序。根据内存1G，数据10G，我们将10G数据切分成10份，通过内存调用磁盘的方式，每1G进行排序，排序结束后，我们会得到10个有序的数据数组。
10G数据，1G内存，如何排序？
yygr的博客
06-02 2151
当数据量超过内存量，通过一般意义上的排序算法已经不能胜任排序工作了。我们需要借助于外存，保留我们排序的中间阶段。（1）按可用内存的大小，把外存上含有n个记录的文件分成若干个长度为L的子文件，把这些子文件依次读入内存，并利用有效的内部排序方法对它们进行排序，再将排序后得到的有序子文件重新写入外存。 （2）对这些有序子文件逐趟归并，使其逐渐由小到大，直至得到整个有序文件为止。（归并过程需要用到败者树或最小堆和一个内存缓冲区）。外部排序.jpg分别排序：根据内存1G，数据10G，我们将10G数据切分成10份，通过
你必须知道的495个C语言问题(PDF)
09-15
来好像有多个元素。这样合法和可移植吗？ . . . . . . . . . . . . 8 2.7 是否有自动比较结构的方法？ . . . . . . . . . . . . . . . . . . . . 8 2.8 如何向接受结构参数的函数传入常数值？ . . . . . . . . . . ....
PHP基础教程 是一个比较有价值的PHP新手教程！
04-24
// 一个包含两个元素的数组 $a[0] = "first"; $a[1] = "second"; $a[] = "third"; // 添加数组元素的简单方法 // 现在$a[2]被赋值为"third" echo count($a); // 打印出3，因为该是...
C语言程序设计标准教程
05-22
例如给十个元素全部赋1值，只能写为： static int a[10]={1,1,1,1,1,1,1,1,1,1};而不能写为： static int a[10]=1; 3.如不给可初始化的数组赋初值，则全部元素均为0值。 4.如给全部元素赋值，则在数组说明中， 可以...
一个java正则表达式工具类源代码.zip(内含Regexp.java文件)
10-25
10 匹配非负整数（正整数 + 0) 11 匹配不包括零的非负整数（正整数 > 0) 12 匹配正整数 13 匹配非正整数（负整数 + 0） 14 匹配负整数; 15. 匹配整数 ; 16 匹配非负浮点数（正浮点数 + 0） 17. 匹配正浮点数 18...
（全）传智播客PHP就业班视频完整课程
10-30
10-27 2 jquery的dom操作 内部插入 外部插入 10-27 3 jquery节点操作 10-27 4 练习题讲解 10-27 5 jquery属性操作 获取子元素和兄弟元素的方法 10-27 6 练习题讲解 10-27 7 jquery和ajax整合使用的方法 10-29 1 svn...
数据量很大的排序问题 大量数据如何排序
AI吃大瓜的博客
04-14 3万+
数据量很大的排序问题 大量数据如何排序     【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51119499     同学某天参加腾讯面试，技术面的时候，面试官问了排序问题：     问题一：若有1T的数据，需要实现由大到小排序，你用什么办法，说说你的思路和想法？     问题二：有10个G的数据，如果
只有1G内存，如何对10G的文件中数据进行排序
无怨无悔专栏
02-20 7565
思考 1.归并、外排 2.多线程RecursiveTask 测试生成文件代码 /*** *@author dongsheng *@date 2019/1/18 22:58 *@Description: *@version 1.0.0 */ public class GenerateNumber { private static final String fi...
10G数据，1G内存排序问题
qq_37064725的博客
04-16 1万+
将数据切分成n段，保证每段数据的大小在内存中放得下，然后将n个段的数据放到n个节点上进行并行计算，对计算的结果做多路归并，或者维护一个大小为n的小根堆，第一次从n个数据段中取第一个数据放入堆中，然后拿出最小的元素放入最终的文件中，然后从刚才从堆中取出值的文件中再取一个值，循环，直到将所有的数据排完。但是这样做存在一个问题，每次从n段文件中取数据比较耗时，这些数据可能来自于网络传输或者文件，通常可以...
【腾讯】10G整数文件中寻找中位数
ccnunlp的专栏
04-21 2848
题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可（内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的占用内存）。     分析： 既然要找中位数，很简单就是排序的想法。那么基于字节的桶排序是一个可行的方法 （请见《桶排序 》）： 思想：将整形的每1byte作为一个关键字，也就是说一个整形...
腾讯面试题：10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。
weixin_30723433的博客
04-13 1370
腾讯面试题：10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。 题目和基本思路都来源网上，本人加以整理。 题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可（内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的占用内存）。 关于中位数：数据排序后，位置在最中间的数值。即将数据分...
100G 数据，只有 100M 内存，怎么排序？
CleverCode的博客
08-16 1万+
100G 数据，按照 100M 内存拆分，然后排序有序的数据，然后写入到 file1,file2…file100。 多路归并。 第一回合： 从 file1,file2,file3……file100.取出第一个数。及最小的。所有的初始指针都是第一行。 min1=min(min1=min(min1 = min(fil1,file2,file3…..file100)；file2,file3…...
模拟一个10G超大文件的排序
qq_38229543的博客
08-25 1153
       超大文件排序问题在面试中很常见，本人在面试中别卡了一次。所以经过一点时间的研究，终于写出了一种实现方式。因为10G的数字文件实在是不好搞，因此下面代码中我只是用了一个比较大点的文本文件来模拟整个排序。但是和10G文件的总体思路是一样的。 基本实现思路 1.创建子文件目录； 2.源文件每10行文件内容拆分为一个子文件； 3.构建一个小顶堆，将每个子文件的第一个数字放入小顶堆； 4.合并子文件： （1）堆顶就是最小的元素，弹出堆
海量数据排序——如果有1TB的数据需要排序，但只有32GB的内存如何排序处理？
热门推荐
无鞋童鞋的博客
05-18 3万+
1、外排序 　　传统的排序算法一般指内排序算法，针对的是数据可以一次全部载入内存中的情况。但是面对海量数据，即数据不可能一次全部载入内存，需要用到外排序的方法。外排序采用分块的方法（分而治之），首先将数据分块，对块内数据按选择一种高效的内排序策略进行排序。然后采用归并排序的思想对于所有的块进行排序，得到所有数据的一个有序序列。　　例如，考虑一个1G文件，可用内存100M的排序方法。首先将文件分成
用C++写一个外部排序的代码
最新发布
05-03
下面是一个简单的外部排序的C代码示例： ```c #include #include #define MAX_LINE_LENGTH 256 void merge_sort(char **input_files, int num_files, char *output_file) { FILE **input_fp = malloc(num_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值