大数据算法-＞只用2GB在20亿个整数中找到出现次数最多的数

最新推荐文章于 2024-05-10 21:43:54 发布
最新推荐文章于 2024-05-10 21:43:54 发布
阅读量402 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44517561/article/details/119452581
版权

大数据算法->只用2GB在20亿个整数中找到出现次数最多的数

需求:

有一个包含20亿个全是32位整数的大文件,在其中找到出现次数最多的数

要求:

内存限制为2GB

解答:

想要在很多整数中出现次数最多的数,通常的做法是使用哈希表对出现的每一个数做词频统计,哈希表的key是某一个整数,value是这个数出现的次数.就本题来说,一共有20亿个数,哪怕只是一个数出现了20亿次,用32位的整数也可以表示其出现的次数而不会产生溢出,所以哈希表的key需要占用4B,value也是4B.那么哈希表的一条记录(key,value)需要占用8B,当哈希表记录数为2亿个时,需要至少1.6GB的内存.

如果20亿个数中不同的数超过2亿种,最极端的情况是20亿个数都不同,那么在哈希表种可能需要产生20亿条记录,这样内存会不够用,所以一次性用哈希表统计20亿个数的办法是有很大风险的.

解决办法是把包含20亿个数的大文件用哈希函数分成16个小文件,根据哈希函数的性质,同一种数不可能被散列到不同的小文件上,同时每个小文件中不同的数一定不会大于2亿种,假设哈希函数足够优秀.然后对每一个小文件用哈希表来统计其中每种数出现的次数,这样我们就得到了16个小文件种各自出现次数最多的数,还有各自的次数统计.接下来只要选出这16个小文件各自的第一名中谁出现的次数最多即可.

把一个大的集合通过哈希函数分配到多台机器中,或者分配到多个文件里,这种技巧是处理大数据面试题时最常用的技巧之一.但是到底分配到多少台机器\分配到多少个文件,在解题时一定要确定下来.可能是在与面试馆沟通的过程中由面试官指定,也可能是根据具体的限制来确定,比如本题确定分成16个文件,就是根据内存限制2GB的条件来确定的.

空知_月月鸟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SWUST OJ 1231: 寻找出现次数最多的数 C++实现
Ljy的博客
06-26 1512
输入的第一行只有一个正整数n(1 ≤ n ≤ 1000)，表示数字的个数。输入的第二行有n个整数s1, s2, …, sn (1 ≤ si ≤ 10000, 1 ≤ i ≤ n)。相邻的数用空格分隔。给定n个正整数，找出它们中出现次数最多的数。如果这样的数有多个，请输出其中最小的一个。输出这n个次数中出现次数最多的数。如果这样的数有多个，输出其中最小的一个。
【算法笔记之数组】找出数组中出现次数最多的数
夕虞的博客
04-11 8296
找出数组中出现次数最多的数 法一： 遍历计数法 //找出出现次数最多的数字 方法一 public static void candidate (int[] array) // 找出数组中出现次数最多的那个数 { int[] count = new int[101]; // 计数数组，每个元素的默认值为0 ...
使用2G内存求20亿个数字中出现次数最多的N个
最新发布
robinfoxnan的专栏
05-10 308
1）分为80块，分块读取1G，排序后保存到文件，其中只保存每个数字的次数；2）对80个文件归并排序，可以写到一个大文件里，每个文件的滑动块大小为25MB；注意，归并的同时，就可以知道当前最大次数的数字，所以可以不写入合并的大文件；1）分块读取和排序：将20亿个数字分成80块，每块1GB大小，这样确保了每个小块可以在内存中进行排序，同时最大限度地减少了内存的使用。2）压缩存储：在每个小块中，只保存每个数字出现的次数，而不是保存所有数字。这样可以大大减少文件的大小，确保每个文件不超过2GB的限制。
算法：如何只用2GB内存从20亿个整数中找到出现次数最多的
OceanStar的博客
07-01 671
那我们能不能找到一个算法，在原来的数组上进行操作就找到最终答案呢？但是，现在有20亿个数字，我们不可能把所有的数字加载到内存里面。怎么办？小结：假设数字都存在文件中评估用map找出现次数最多的数字能不能做可以看出，用map每次评估2亿是可以的...............
找到出现次数最多的数
weixin_30632899的博客
08-07 921
题目说明 有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数。 题目要求 内存限制为2GB。 实现思路 想要在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的每 一个数做词频统计，哈希表的key是某一个整数，value是这个数出现的次数。就本题来说，一共有20亿个数，哪怕只是一个数出现了20亿次，用32位的整数也...
Python找出列表中出现次数最多的元素三种方式
m0_72282564的博客
11-04 1109
这里要注意：不能为了图方便进行collection_words * 2,因为类型不同，2为int，故不能进行运算。他可以直接帮我们计数，然后再帮我们排序好。也就是用Counter(words)之后，这个类型是可以相加减的，只支持相加减。躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。我们要查找的这个键不在字典中，我们先将它置为0，然后再加1，故这个setdefault函数不生效，然后我们再把次数加1。再查找到这个键的时候，这个时候它是存在这个字典里面的
大数据-算法-切平面在混合整数非线性规划中.pdf
04-17
大数据-算法-切平面在混合整数非线性规划中.pdf
大数据-算法-数据清洗及XML技术在数字报刊中的研究.pdf
04-20
大数据-算法-数据清洗及XML技术在数字报刊中的研究.pdf
大数据-算法-改进的粒子群优化算法在整数规划和可靠性问题中的应用.pdf
04-19
大数据-算法-改进的粒子群优化算法在整数规划和可靠性问题中的应用.pdf
大数据-算法-数字高程模型数据库管理系统开发及在地质制图中的应用.pdf
04-20
大数据-算法-数字高程模型数据库管理系统开发及在地质制图中的应用.pdf
大数据-算法-改进遗传算法在TSP中的应用.pdf
04-19
大数据-算法-改进遗传算法在TSP中的应用.pdf
只用2GB内存在20亿个整数中找到出现次数最多的数
StackOverflow的博客
02-19 1095
有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数。 要求：内存限制2GB。 初级进阶： 40亿个整数。 高级进阶： 80亿个整数。 常规思路： 在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的每一个数做词频统计。如果一个数字出现20亿次，哈希表的一条记录需要8B。如果20亿个数都不同，那么哈希表的20亿条记录需要16GB。 解决思路： 记录大概 2 亿多条不同的...
学习笔记 | Counter找出列表中出现次数最多的元素
大虎牙的博客
06-20 788
找出列表中出现次数最多的元素 在Python程序中，如果想找出列表中出现次数最多的元素，可以考虑使用collections模块中的Counter类，调用Counter类中的函数most_common() 来实现上述功能。 from collections import Counter words = [ 'look', 'into', 'my', 'AAA', 'look', 'into', 'my', 'AAA', 'the', 'AAA', 'the', 'AAA', 'the', 'eye
程序员代码面试指南刷题--第六章.只有2GB内存在20亿个整数中找到出现次数最多的数
我不是什么好人
05-18 226
题目 在一个包含20亿个全是32位整数的大文件中找到出现次数最多的数 要求 内存2GB 解答 想要在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的数做词频统计，哈希表的key是某一个整数，value是这个数的个数。但是对于20亿个数全是不同的情况内存（2GB）可能不够用。 我们可以用哈希函数把20亿个数的大文件用哈希函数分成16个小文件，根据哈希函数的性质，同一种数不可能被分到不同文件中，同时同一文件中数的保证不会超过2亿类（20/16<2）,因为种类为2亿类刚刚内存够用。然后对每一个
中国电子学会scratch等级考试四级编程题：找出出现次数最多的数字
老马的程序人生
11-08 2374
「青少年编程竞赛交流群」已成立（适合6至18周岁的青少年），公众号后台回复【Scratch】或【Python】，即可进入。如果加入了之前的社群不需要重复加入。 我们将有关编程题目的教学视频已经发布到抖音号21252972100，小马老师上，大家可以关注一下。 找出现次数最多的数字 找出出现次数最多的数字，如果有多个数字出现次数相同，则答案为后输入的数字。 1. 准备工作 （1）保留默认的白色背景及小猫角色； （2）建立名为“list”的列表。 2. 功能实现 （1）运行程序，小猫询问“请问要输入几.
分治法 第1关：求一组数据中最大的两个数
热门推荐
Alfred_tfk的博客
12-31 1万+
任务描述 本关任务：利用分治法求一组数据中最大的两个数和最小的两个数。 编程要求 请在右侧编辑器Begin-End处补充代码，完成本关任务。 测试说明 平台会对你编写的代码进行测试，比对你输出的数值与实际正确数值，只有所有数据全部计算正确才能通过测试： 测试输入： 10 //数据的总个数 1 //此行及以下为具体的每个数据 3 5 7 9 10 8 6 4 2 预期输出： max1=10 max2=9 min1=1 min2=2 #include <stdio.h> void m
如何在数组（可以定义条件为有序）中找到出现次数最多的数字
qq_40123329的博客
03-28 2079
法一 如果数组长度为n,且数组中元素值都在0~n-1之间，假设数值最大为k。那么可以使用在原数组上进行操作的方法(如果可以改变数组)。 即数组下标代表数值本身，当该元素出现时，就把相应下标对应的值加k，每出现一次就加k，最后比较数组元素值，最大的元素值代表其下标出现的次数最多。注意这样会改变原来的值，可以使用value%k来获得数组原来的值。 注意点： （1）如何输入不定长的数组 （2）...
java-求整数序列中出现次数最多的数
08-03
### 回答1： 在 Java 中，可以使用 HashMap 来统计整数序列中每个数出现的次数，最后遍历 HashMap 找到出现次数最多的数即可。代码示例： ``` import java.util.HashMap; public class Main { public static void main(String[] args) { int[] nums = {1, 2, 3, 4, 1, 1, 2}; HashMap<Integer, Integer> map = new HashMap<>(); for (int num : nums) { if (map.containsKey(num)) { map.put(num, map.get(num) + 1); } else { map.put(num, 1); } } int maxNum = 0, maxCount = 0; for (int num : map.keySet()) { if (map.get(num) > maxCount) { maxNum = num; maxCount = map.get(num); } } System.out.println("整数序列中出现次数最多的数是：" + maxNum); } } ``` ### 回答2： 要求找出整数序列中出现次数最多的数，可以使用Java语言编写一个算法来实现。 首先，我们可以使用HashMap来统计整数序列中每个数出现的次数。遍历整数序列，对于遍历到的数字，如果在HashMap中已经存在，就将对应的计数器加1；如果不存在，就将该数字作为键添加到HashMap中，并将对应的计数器初始化为1。 在完成HashMap的统计后，我们需要遍历一次HashMap，找出出现次数最多的数。可以使用两个变量maxCount和maxNum来保存当前出现次数最多的数字和对应的次数。遍历HashMap，对于每一个键值对，如果该键对应的计数器大于maxCount，就更新maxCount和maxNum。最终，maxNum就是整数序列中出现次数最多的数。 下面是使用Java代码实现的示例： ```java import java.util.HashMap; import java.util.Map; public class Main { public static void main(String[] args) { int[] sequence = {1, 2, 3, 4, 4, 2, 2, 3, 3, 3}; int maxNum = findMostFrequentNumber(sequence); System.out.println("出现次数最多的数是：" + maxNum); } public static int findMostFrequentNumber(int[] sequence) { Map<Integer, Integer> countMap = new HashMap<>(); for (int num : sequence) { if (countMap.containsKey(num)) { countMap.put(num, countMap.get(num) + 1); } else { countMap.put(num, 1); } } int maxCount = 0; int maxNum = 0; for (Map.Entry<Integer, Integer> entry : countMap.entrySet()) { int num = entry.getKey(); int count = entry.getValue(); if (count > maxCount) { maxCount = count; maxNum = num; } } return maxNum; } } ``` 以上代码输出的结果为：出现次数最多的数是：3。 ### 回答3： 要求解整数序列中出现次数最多的数，可以通过以下步骤实现： 1. 建立一个HashMap，用于存储整数和它出现的次数。 2. 遍历整数序列，将每个整数作为key，出现的次数作为value，存入HashMap中。 3. 定义一个变量maxCount，用于记录出现次数最多的数的次数。 4. 定义一个变量mostFrequent，用于记录出现次数最多的数。 5. 遍历HashMap，比较每个整数出现的次数和maxCount的大小。 - 如果当前整数出现的次数大于maxCount，将当前整数的次数赋值给maxCount，并将当前整数赋值给mostFrequent。 - 如果当前整数出现的次数等于maxCount，将当前整数添加到mostFrequent中。 6. 输出mostFrequent，即为整数序列中出现次数最多的数。 以下是一个用Java实现的例子： ```java import java.util.HashMap; public class Main { public static void main(String[] args) { int[] nums = {1, 2, 3, 3, 4, 4, 4, 5, 5, 5, 5}; HashMap<Integer, Integer> countMap = new HashMap<>(); // 统计每个整数的出现次数 for (int num : nums) { countMap.put(num, countMap.getOrDefault(num, 0) + 1); } int maxCount = 0; // 找出出现次数最多的数 for (int num : countMap.keySet()) { int count = countMap.get(num); if (count > maxCount) { maxCount = count; } } System.out.println("出现次数最多的数是："); for (int num : countMap.keySet()) { int count = countMap.get(num); if (count == maxCount) { System.out.println(num); } } } } ``` 输出结果为： ``` 出现次数最多的数是： 5 ``` 通过HashMap统计每个整数的出现次数，然后遍历HashMap找到出现次数最多的数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值