海量数据问题（二）

最新推荐文章于 2022-10-13 12:02:15 发布
最新推荐文章于 2022-10-13 12:02:15 发布
阅读量400 收藏
点赞数
分类专栏： 面经中遇到问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34269988/article/details/102998913
版权

现在你有 10 个接口访问日志文件，每个日志文件大小约 300MB，每个文件里的日志都是按照时间戳从小到大排序的。你希望将这 10 个较小的日志文件，合并为 1 个日志文件，合并之后的日志仍然按照时间戳从小到大排列。如果处理上述排序任务的机器内存只有 1GB，你有什么好的解决思路，能“快速”地将这 10 个日志文件合并吗？

 

有 10GB 的订单数据，我们希望按订单金额（假设金额都是正整数）进行排序，但是我们的内存有限，只有几百 MB，没办法一次性把 10GB 的数据都加载到内存中。这个时候该怎么办呢？

 

如何根据年龄给 100 万用户排序？

 

假老练啊哦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java海量数据读写优化方案
09-06
对大数据文本文件读取（按行读取）的优化，目前常规的方案有三种，第一种LineNumberReader，第二种RandomAccessFile，第三种是内存映射文件在RandomAccessFile基础上调用getChannel().map(...)；代码提供在...
一个算法题的解法--日志文件合并问题
u011250186的博客
11-12 1275
现在你有 10 个接口访问日志文件，每个日志文件大小约 300MB，每个文件里的日志都是按照时间戳从小到大排序的。你希望将这 10 个较小的日志文件，合并为 1 个日志文件，合并之后的日志仍然按照时间戳从小到大排列。如果处理上述排序任务的机器内存只有 1GB，你有什么好的解决思路，能“快速”地将这 10 个日志文件合并吗？ 课后思考解答： 1.申请 10 个数组，每个数组 30M。再申请个临时数...
python实现桶排序，听这名字挺奇怪的？
max_LLL的博客
05-07 353
前言 不知道大家还记不记得计数排序 在计数排序中，需要根据最大值和最小值创建一个列表，如果最大值和最小值的差很大，即使 需要排序的数据并不是很多，那么就会照成不必要的浪费，因为不管需要排序的数有多少，都需 要创建一个长度为(最大值-最小值+1)的列表 桶排序的由来 鉴于上面这一点，我们可以进行分块排序，每一块用一个列表来表示(每一个列表都用来存放对应区间的数)，将这个列表看成是一个桶(这也是为什么叫桶排序)，将某个数放到对应的桶中，最后合并这些桶就得到了有序的序列。 栗子
【python算法系列五】桶排序算法
m0_70372647的博客
05-19 1503
由于桶排序算法把每个数都放到合适的“桶”里进行排序，因此而得名。桶排序的算法原理可以理解为创建一个新的数组，把数依次放入合适的桶内，再按一定顺序输出桶。 当每个桶的数据范围为 1 且数据皆为整数时，桶排序的时间复杂度在所有情况下都是 O(n)，因为它是一个线性的排序算法。但是，它的空间需求要视排序数据的范围而定，所以极有可能浪费很多空间。 假设我们有 10 个整数 [1,1,3,19,35,49,50,5,10,16]，它们的范围在 1～50。如图 1 所示，我们建立 50 个存放数据的桶。 图 1：
python实现·十大排序算法之桶排序(Bucket Sort)
南风以南
05-26 697
简介 桶排序(Bucket Sort)，也叫箱排序，其主要思想是：将待排序集合中处于同一个值域的元素存入同一个桶中，也就是根据元素值特性将集合拆分为多个区域，则拆分后形成的多个桶，从值域上看是处于有序状态的。对每个桶中元素进行排序，则所有桶中元素构成的集合是已排序的。 桶排序是计数排序的扩展版本，计数排序可以看成每个桶只存储相同元素，而桶排序每个桶存储一定范围的元素。桶排序需要尽量保证元素分散均匀，否则当所有数据集中在同一个桶中时，桶排序失效。 算法实现步骤 根据待排序集合中最大元素和最小元素的差值范
空间换时间的桶排序算法（PHP实现）
patriot_28的博客
07-24 172
代码: <?php function bucket_sort($arr) { $arr_len = count($arr); $bucket_size=10; // 获取数组中最小值、最大值 [$min, $max]=getMaxMin($arr); $scope=intval(($max-$min)/$bucket_size); // 初始化$buckets,这样才能按键顺序增长 for ($i=0; $i < $scope; $i++) { $buckets[
海量数据topk问题1
08-04
第一步，都是按照数字/词语hashcode将大文件拆分成小文件 第二步：用HashMap统计词频, 最小堆对每个文件求topk（多线程优化） 第三步：合并top
海量数据解决思路之Hash算法
03-01
本文将粗略讲述一下Hash算法...这些特性被应用到了信息安全领域中加密算法，其中等价映射这一特性在海量数据解决方案中起到相当大的作用，特别是在整个MapReduce框架中，下面章节会对这二方面详细说。话说，Hash为什么
Berkeley_DB_Java_Edition.zip_海量 数据
09-21
Berkeley DB Java Edition (JE)是一个完全用JAVA 写的，它适合于管理海量的，简单的 数据。 l 能够高效率的处理 1 到 1 百万条记录，制约 JE 数据库的往往是硬件系统,而不是 JE 本身。 多线程支持，JE 使用超时的...
Python实现桶排序
weixin_43790276的博客
07-22 5096
Python实现桶排序
python实现基本算法之桶排序(Bucket Sort)
Song_Of_Sea海歌同学的博客
09-12 666
基本算法之桶排序(Bucket Sort) 基本算法—08、桶排序(Bucket Sort)算法 。往期请看选择排序，插入排序，归并排序，快速排序等等都发布的！欢迎大家批评指正！ 文章目录基本算法之桶排序(Bucket Sort)0、前言1、桶排序算法是什么？2、算法过程图解3、代码实现4、评判算法 0、前言 评判一个算法的好坏的标准： 时间复杂度 空间复杂度 1、桶排序算法是什么？ 实现思想/实现步骤： 1.设置一定量的数组当做空桶(一般情况设置五个) 2.遍历输入数据，把数据一个一个的放到对
排序算法：桶排序（Python）
热门推荐
m0_61661179的博客
10-13 5万+
桶排序是计数排序的升级版。在额外空间充足的情况下，尽量增大桶的数量。使用的映射函数能够将输入的 N 个数据均匀的分配到 K 个桶中。
python实现八大排序算法+桶排序
weizhifei1234的博客
04-07 699
一.引言 本博客大致会提及到排序算法的理论讲解，但是不会深入讲解，强烈推荐数据结构和算法的可视化网站。本文给出八种经典的排序算法的Python实现代码和部分注解，算是一个总结，也感谢网络众多优秀的博主分享他们的idea，站在巨人的肩膀上果然成长很迅速。排序可以说在经典算法中是很重要的一部分，对于常见的排序算法要做到本能的敲出代码，了解各种算法的时间复杂度和空间复杂度，关于时间复杂度和空间复杂度具...
极客算法07 | 排序
Kim_
03-16 260
冒泡、插入、选择排序 冒泡排序：空间复杂度O(1),稳定的排序算法，最好时间复杂度O(n)，平均时间复杂度O(n^2) 插入排序：空间复杂度O(1),稳定的排序算法，最好时间复杂度O(n)，平均时间复杂度O(n^2) 选择排序：空间复杂度O(1),不稳定的排序算法，最好时间复杂度O(n^2),平均时间复杂度O(n^2) 思考：为什么插入排序要比冒泡排序更受欢迎？ 冒泡排序不管怎么...
如何在有限的空间范围内对日志文件进行排序-笔记
jean博客
01-02 942
现在假设我们有10个接口访问日志文件，每个日志文件大小约300MB，每个文件里的日志都是按照时间戮从小到大排列。你希望将这10个较小的日志文件，合并为1个日志文件，合并之后的日志仍按照时间戮从小到大排列。如果处理上述任务的机器内存只有1GB，你有什么好的解决思路能“快速”地将这10个日志文件合并吗？ 我们可以每次从各个文件中取一条最小的数据，在内存中根据数据时间戳构建一个最小堆，然后每次把最小值...
算法面试题- 合并排好序的小文件成一个单独的大文件
shenyanxxxy的专栏
11-20 1361
现在你有 10 个日志文件，每个日志文件大小约 300MB，每个文件里的日志都是按照时间戳从小到大排序的。你希望将这 10 个较小的日志文件，合并为 1 个日志文件，合并之后的日志仍然按照时间戳从小到大排列。如果处理上述排序任务的机器内存只有 1GB，你有什么好的解决思路，能“快速”地将这 10 个日志文件合并吗？ 解法1： 先读取每个文件的开头和结尾 timestamp，然后以中间的start 作为分界点pivot，将日志文件分拆成两份，一份是大于pivot（若干文件），一份是小于pivot（若干.
快速排序 课后练习题
zhj574182446的博客
07-12 681
现在你有 10 个日志文件，每个日志文件大小约 300MB，每个文件里的日志都是按照时间戳从小到大排序的。你希望将这 10 个较小的日志文件，合并为 1 个日志文件，合并之后的日志仍然按照时间戳从小到大排列。如果处理上述排序任务的机器内存只有 1GB，你有什么好的解决思路，能“快速”地将这 10 个日志文件合并吗？ 思路： 1.构建10个IO流，读取每个文件的一条数据，比较大小，取最小的放入新文件，再读取一条数据，循环直到结束。 ...
分而治之归并排序
码哥字节
06-04 420
点击上方蓝色字体，关注我们分而治之归并排序❝关注「码哥字节」设置星标，接收最新技术干货提升自我。本文完整源码详见 Github：https://github.com/UniqueDong...
面试题（）
LucyskyT的博客
11-15 623
现在你有10个接口访问日志文件，每个日志文件的大小约为300MB，每个文件里的日志都是按照时间戳从小到大的顺序排序的。你希望将这10个较小的日志文件，合并成一个日志文件，合并后的日志文件仍然按照时间戳的由小到大的顺序排列。如果处理上述排序任务的机器内存之哟1GB，你有什么好的解决思路，能“快速”地将这十个日志文件合并？ 首先我们应该想到，每次从各个日志文件中选取最小的时间戳调入内存进行比较，在内存...
mysql 海量数据分页
最新发布
07-27
对于海量数据的分页查询，MySQL可以使用LIMIT和OFFSET语句来实现。LIMIT用于限制返回的记录数，OFFSET用于指定起始位置。 例如，假设我们有一张名为`users`的表，其中存储了大量用户信息。要实现分页查询，可以使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值