怎样给一个磁盘文件排序？

最新推荐文章于 2022-07-10 23:53:18 发布
最新推荐文章于 2022-07-10 23:53:18 发布
阅读量2.9k 收藏
点赞数
分类专栏： Data Structure&&Algorithm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thinker_yu/article/details/39295457
版权
本文探讨如何在内存有限的情况下，使用位图数据结构结合多路归并策略对磁盘上的大量整数进行排序。详细介绍了分段读取、内存快速排序、位图表示集合以及两趟扫描的优化方法，旨在实现一次读入和输出的高效排序解决方案。
摘要由CSDN通过智能技术生成

假设给你一个问题：怎样给一个磁盘排序？我们首要做的就是分析该问题，弄清问题的正确的具体描述（尤其在面试的时候很重要）。

问题的准确描述：1、输入：一个最多包含n个正整数的文件，每个数都小于n，其中n=10000000。如果在输入文件中有任何整数重复出现就是致命错误。没有其他数据与该整数关联；2、输出：按升序排列的输入整数的列表；3、约束：最多有大约1MB的内存空间可用，有充足的磁盘存储空间可用。运行时间最多几分钟，运行时间为10秒钟就不需要进一步优化了

一、一般的磁盘文件排序

1、内排序
由于要求的可用内存为1MB，那么每次可以在内存中对250K的数据进行排序，然后将有序的数写入硬盘。那么10M的数据需要循环40次，最终产生40个有序的文件。

2、多路归并排序
（1）将每个文件最开始的数读入（由于有序，所以为该文件最小数），存放在一个大小为40的first_data数组中； 
（2）选择first_data数组中最小的数min_data，及其对应的文件索引index； 
（3）将first_data数组中最小的数写入文件result，然后更新数组first_data（根据index读取该文件下一个数代替min_data）； 
（4）判断是否所有数据都读取完毕，否则返回（2）。

显然上述方法的时间可能需要几分钟，甚至几十分钟，下面提供一种高效的方法ÿ

最低0.47元/天 解锁文章
Thinker_YU
关注
专栏目录
大数据处理 - 外（磁盘文件）排序
DeveloperFire的博客
02-22 186
外排序, 即借助外部存储进行排序.适用范围: 大数据的排序，去重基本原理及要点: 外排序的归并方法，置换选择败者树原理，最优归并树。
给磁盘文件排序
sundujing的博客
03-03 565
输入:一个最多包含n个正整数的文件，每个数都小于n，其中n=10^7。如果在输入文件中有任何整数重复出现就是致命错误。没有其他数据与该整数关联 输出：按升序排列的输入整数的列表。 约束：最多有（大约）1MB的内存空间可用，有充足的磁盘存储空间可用，运行时间10s以内。解决方法： 位图或位向量表示集合 1 0 1 1 0 1 0 1 1 0 1 0 0 0 0 0 0 0 0 0
给磁盘文件排序（位图）
FrankYu
10-15 399
问题描述： 输入：是一个包含n个正整数的文件，每个数都小于n，n<10^7如果在输入文件中出现任何重复整数就是致命错误 输出：按升序排列的输入的整数列表 约束：最多有1MB 的内存可用，有充足的磁盘存储空间，运行时间最多几分钟，10秒即可不比优化 题解： 内存只有1MB，即最多能存1024*1024*8位二进制数，一个int型占32字节，每个字节是8位 采用位图存储集合，每个二进制位表示
编程珠玑 | 如何给磁盘文件排序
mike_learns_to_rock的博客
12-18 482
第一章 输入：文件最多包含10,000,000 条记录，无重复记录，每条记录是一个7位电话号码(2773889) 输出：升序排列的输入蒸熟的列表 约束：最多1MB的内存空间可用，充足的磁盘存储空间；运行时间最多几分钟，最好10s内；   方法 1. 归并排序：输入文件读取一次，读写中间帮助文件多次 2. 多次遍历排序，根据整数特点排序，每个号码可以用32bit的整数表示，1MB内存可...
C语言对磁盘文件进行快速排序简单实例
08-30
C语言对磁盘文件进行快速排序简单实例 一、快速排序算法简介 快速排序（Quick Sort）是由C.A.R. Hoare发明并命名的排序算法，该算法被认为是目前最好的排序算法之一。快速排序基于交换排序，与同样的基于交换排序...
编程实现希尔、快速、堆、归并排序算法，随机产生10000个随机数存入磁盘文件，读取，并将不同排序方法的结果存入文件中（含报告）
02-25
在该项目中，这些排序算法被应用于10000个随机生成的整数上，首先将这些整数写入磁盘文件，然后读取这些数据并进行排序，最后将排序结果保存到不同的文件中。这样做的目的是为了测试各种排序算法在大规模数据上的...
C小程序__从磁盘读入n个字符串， 对它们按字母大小顺序排序，然后把排好序的字符串送到磁盘文件中保持
lanlan1266的博客
05-08 961
#include "stdio.h"#include &lt;stdlib.h&gt;#include &lt;string.h&gt;int main(){ FILE *fp; char str[3][10], temp[10];  //str是用来存放字符串的二维数组，temp是临时数组 int i, j, n = 3; printf("请输入字符串\n"); for (i = 0; i &l...
题目52 磁盘容量排序(ok)
weixin_41010318的博客
10-18 2537
磁盘的容量单位有M,G,T这三个等级，他们之间的换算关系为 1T=1024G 1G=1024M 现在给定N块磁盘的容量，请对他们按从小到大的顺序进行稳定排序 例如给定5块盘容量：1T,20M,3G,10G6T,3M12G9M 排序后的结果为 20M,3G,3M12G9M,1T,10G6T 注意单位可以重复出现 上述3M12G9M为 3M+12G+9M和 12M12G相等 输入描述: 输入第一行包含一个整数N，2<=N<=100 ,表示磁盘的个数 接下来的N行每行一个字符串 长度 (2..
在磁盘中进行文件内数据的排序（外排序）
m0_64770095的博客
07-10 1677
外排序代码实现，文件中进行排序。
磁盘排序（外排序）
EasonDongH的博客
02-20 2298
当参加排序的数的量太大，或内存不足以存放时，需要使用外排序。外排序可以使用插入排序的思想，也可以用归并排序的思想。 下面是自己实现的归并排序思想的外排序，虽然基本做到了正确排序，且对内存的占用可以控制，但时间效率略低。实测100万数据的时候，空间占3MB（VS 2017），运行时间为700s，CPU为i7-6600U。 代码示例 GenerateRandomNumber.h文件，生成随机数序列。 ...
【参考】给大数据量的磁盘文件排序
weixin_30275415的博客
08-04 307
【参考】给大数据量的磁盘文件排序 Eg - 数据结构与算法分析外部排序 noteton 如何给磁盘文件排序 问题描述 输入：给定一个文件，里面最多含有n个不重复的正整数（也就是说可能含有少于n个不重复正整数），且其中每个数都小于等于n，n=107。 输出：得到按从小到大升序排列的包含所有输入的整数的列表。 条件：最多有大约1MB的内存空间可用，但磁盘空间足够。且要求运行时...
对100G的外部(硬盘)数据进行排序
I want to know a little more.
08-27 1623
问题：机器内存100M，想对100G的外部(硬盘)数据进行排序 思路：几乎所有人看到这个问题第一反应都是分割，先这样，然后那样，再那样，最后那样，懵懵懂懂的说不清楚。 我提供两种方法： 一、先拆分再归并 100G数据分成20M一份（本来想分成３０的，可惜数学不好），这样得到5000个分片（假装算对了） 5000个分片分别叫s0-1 s0-2 s0-3 s0-4 ...........
49.字符大小写排序-给定一个只包含字母的字符串，按照先小写字母后大写字母的顺序进行排序。
qq_42009262的博客
06-23 2280
题目来源于LeetCode 字符大小写排序: 样例 样例 1: 输入: “abAcD” 输出: “acbAD” 样例 2: 输入: “ABC” 输出: “ABC” 解题： public class Solution { /* * @param chars: The letter array you should sort by Case * @return: nothing */ public void sortLetters(char[] chars)
从磁盘文件读取一个整数序列，生成一棵二叉排序树用C语言来实现
最新发布
06-07
好的，您可以参考下面的代码实现： ```c #include <stdio.h> #include <stdlib.h> // 二叉排序树的结构体 typedef struct TreeNode { int val; struct TreeNode* left; struct TreeNode* right; } TreeNode; // 向二叉排序树中插入元素 void insertNode(TreeNode** root, int val) { if (*root == NULL) { *root = (TreeNode*)malloc(sizeof(TreeNode)); (*root)->val = val; (*root)->left = NULL; (*root)->right = NULL; return; } if (val < (*root)->val) { insertNode(&((*root)->left), val); } else { insertNode(&((*root)->right), val); } } // 从磁盘文件读取整数序列并生成二叉排序树 TreeNode* createBSTFromFile(char* filename) { FILE* fp; int num; TreeNode* root = NULL; fp = fopen(filename, "r"); if (fp == NULL) { printf("Failed to open the file.\n"); return NULL; } while (fscanf(fp, "%d", &num) != EOF) { insertNode(&root, num); } fclose(fp); return root; } int main() { TreeNode* root = createBSTFromFile("input.txt"); // TODO: 对二叉排序树进行遍历或其他操作 return 0; } ``` 在这个程序中，我们首先定义了一个二叉排序树的结构体 `TreeNode`，包含了节点值和左右子节点指针。然后我们实现了一个 `insertNode` 函数，用于向二叉排序树中插入元素。 接着我们实现了 `createBSTFromFile` 函数，用于从磁盘文件中读取整数序列，并逐个插入到二叉排序树中。这个函数最终返回生成的二叉排序树的根节点。 在 `main` 函数中，我们调用 `createBSTFromFile` 函数来生成二叉排序树，并可以对其进行遍历或其他操作。需要注意的是，由于我们使用了动态内存分配，所以在程序结束时需要手动释放生成的二叉排序树。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值