大数据(2)

最新推荐文章于 2017-09-08 17:24:27 发布
最新推荐文章于 2017-09-08 17:24:27 发布
阅读量224 收藏
点赞数
分类专栏： 求职 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/st_hunter/article/details/75452614
版权

案例3
有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数，但内存限制只有2G
这里写图片描述
解决思路
这里写图片描述
下再用哈希表依次处理各个文件，统计每种数出现的次数，此时肯定不会溢出。
这里写图片描述

案例4
这里写图片描述
先分析哈希表思路：
这里写图片描述
bitmap思路：
这里写图片描述
这里写图片描述
找到这个技术不足的区间，假设为a
再遍历一次40亿个数，此时只关注区间a上的数，并用bitmap统计区间a上的数的出现情况。
占用差不多8m空间
这里写图片描述

案例5
这里写图片描述
这里写图片描述
机器数n取决于面试官的给定
这里写图片描述

案例6
这里写图片描述
这里写图片描述

为解决上述问题，下介绍一致性哈希算法
这里写图片描述
哈希值环形，数据入环，顺时针寻找机器归属。
添加机器：
这里写图片描述
这里写图片描述
由此可见，添加机器3，只有右上角部分数据需要进行迁移，代价小了很多

st_hunter
关注
专栏目录
大数据量幂计算 可以计算例如2的24次幂等天文数字
02-12
可以计算大数据量的幂运算 里面包括大数据量的乘法运算
程序员代码面试指南刷题--第六章.只有2GB内存在20亿个整数中找到出现次数最多的数
我不是什么好人
05-18 235
题目 在一个包含20亿个全是32位整数的大文件中找到出现次数最多的数 要求 内存2GB 解答 想要在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的数做词频统计，哈希表的key是某一个整数，value是这个数的个数。但是对于20亿个数全是不同的情况内存（2GB）可能不够用。 我们可以用哈希函数把20亿个数的大文件用哈希函数分成16个小文件，根据哈希函数的性质，同一种数不可能被分到不同文件中，同时同一文件中数的保证不会超过2亿类（20/16<2）,因为种类为2亿类刚刚内存够用。然后对每一个
只用2GB内在20亿个整数里中找到出现次数最多的数
chmy1992的博客
09-05 3439
题目 有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数，内存限制为2GB。 解答： 想要在很多整数中找到初夏次数最多的数，通常的做法是用哈希表对出现的每一个数据做词频统计，哈希表的key是某一个整数，value是这个词出现的次数。就本题来说，一共20亿个整数，用32位int型是完全足以表示的，32位int最大数据为2147483647，所以并不会溢出。因为一个哈希表需要的
c++实现2的n次方
热门推荐
Step by step
08-23 1万+
#include using namespace std; #define MAXNUM 2000 int arr[MAXNUM]; int main(){ int n,index,i; cin>>n; index=0; for( i=0;i<MAXNUM;i++){ arr[i]=0; } arr[0]=2; for( i=1;i<n;i++){ int jinwei=0;
畅游大数据V2
11-09
这本书详细介绍了大数据相关的知识，包括Ambari,Hadoop, Spark, Storm, Flink, HBase，以及IBM的某些产品。特别适合初学者，或者大数据从业者。
大数据教程全套2
01-17
大数据教程全套2是一系列深入介绍大数据领域的教学资源，旨在帮助初学者系统地理解和掌握大数据的基础知识。这个资源包包含了多个PPT文件，每个文件都专注于一个特定的大数据主题，覆盖了从基本概念到实际应用的各个...
《大数据》
04-11
2. **大数据特征**：通常概括为4V：Volume（大量）、Velocity（高速）、Variety（多样）和Value（价值）。这四点定义了大数据的基本属性，揭示了大数据的挑战与机遇。 3. **大数据来源**：大数据来源于各种渠道，...
大数据模块
01-29
采用百度搜索进行答案概率运算,大数据模块.调用格式:大数据("您的问题?","答案一,答案二,答案三"),返回参考答案.
OJ入门介绍
st_hunter的博客
07-07 825
OJ——online judge要求：正确处理输入格式；正确处理输出格式；输入输出均是标准输入/输出，不用考虑读写文件。1.正确处理输入格式 常见输入格式： 预先不输入数据的组数； 预先输入数据的组数； 只有一组输入数据应对： 读到文件结尾； 读数据组数再循环； 直接读入数据。预先不输入数据的组数 C++while(cin>>a>>b){ cout<<a+b<<endl;
二叉树(4)
st_hunter的博客
07-07 494
折纸问题 把一段纸条竖着放在桌子上，然后从纸条下方向上方对折1次，压出折痕后展开，此时折痕是凹下去的。若从纸条下方向上方对折2次，压出折痕后展开，此时有三条折痕，从上到下依次是下折痕、下折痕和上折痕。给定一个输入参数N，代表纸条都从下边向上方连续对折N次，请从上到下打印所有折痕的方向。 是一颗满二叉树结构， 实现先左再中，最后右的中序遍历，就是所有折痕的打印顺序（从下到上）。用递归实现。案
排列组合(1)
st_hunter的博客
07-18 468
概率组合题目分类 1.以高中数学为基础的古典概率计算方法 2.斐波那契数列和卡特兰数 3.以选择题居多案例1 案例2 案例3 方法1： 6个人全排列6！=720 甲乙相邻5！种，乙甲相邻5！种，共240种 同理，甲丙相邻240种。 中间情况为2*4！=48 答：720-240-240+48=288方法二： 剩下3个人选两个邻居，A32，六种可能
链表(2)
st_hunter的博客
07-17 450
案例1 给定一个整数num，如何在节点值有序的环形链表中插入一个节点值为num的节点，且保证这个环形单链表依然有序。 解法：时间复杂度O(N)，额外空间复杂度O(1)。 插入node，返回head即可。 3.若p和c转一圈都没发现应插入的位置（该节点比整个链表都大或都小），此时node应插入头结点的前面。 若节点值最小，头结点应返回该节点；若节点值最大，头结点应返回原头节点。案例2
字符串求数字长度
st_hunter的博客
09-08 448
#include <stdio.h> #include <iostream> #include <cstring> #include <stdlib.h> #include <math.h> using namespace std; void outhanshu(char *str,int end,int max){ for(int j=end-max+1;j<=end;j++){
位运算(1)
st_hunter的博客
07-18 436
算术运算和位运算的操作符 案例1 本题涉及大数据和位运算 普通方法： 布隆过滤器可精确的代表一个集合 可精确判断某一元素是否在此集合中 精确程度由用户的具体设计决定 不可能做到100%精确布隆过滤器优势在于，利用很少的空间，可以做到精确率较高。 每次哈希函数后，把相应bitarray涂黑。 所有URL完成该过程后，此时的bitarray就是一个布隆过滤器。 这个布隆过滤器代表
二叉树(3)
st_hunter的博客
07-05 406
二叉树的子树 在二叉树中以任何一个节点为头部的整棵树称作二叉树的子树。 平衡二叉树（AVL树） 1.空树是平衡二叉树 2.如果一棵树不为空，并且其中所有的子树都满足各自的左子树与右子树的高度都不超过1。 给定一颗二叉树的头节点head，判断一棵树是否是平衡二叉树。public boolean isBalance(Node head){ boolean[] res =
字符串(3)
st_hunter的博客
07-12 391
案例7 给定一个字符串str，请将其中所有空格字符替换成“%20”，假设str后面有足够的空间。 分析： 所以从位置8开始，拷贝 c复制到位置8 朝前遍历，遇到空格，就5-7位置为%20 朝前遍历，遇到b，4为b 朝前遍历，遇到空格，就1-3为%20 朝前遍历，遇到a，0为a 结束。案例8 给定一个字符串str，判断是不是整体有效的括号字符串。 例子： 为true：“()
报数—循环链表
st_hunter的博客
09-08 375
struct ListNode { int val; struct ListNode *next; ListNode(int x) : val(x), next(NULL) { } }; void creatlist(ListNode *&phead,int &n){ if(n<=99){ phead=(struct Li
学号 姓名 性别 班级 高等数学 线性代数 英语 数据库原理与应用 0 1 李明 男 大数据1班 85 93 95 74 1 2 韩雪 女 大数据1班 80 87 80 88 2 3 刘武 男 大数据1班 62 80 78 缺考 3 4 张蕊 女 大数据2班 78 缺考 89 92 4 5 王天 男 大数据2班 85 80 82 87 5 6 黄灿 女 大数据2班 96 95 缺考 91这个df，我想把里面的“缺考”换为“NAN”如何做到
最新发布
05-28
您可以使用 pandas 库中的 replace 函数来实现。具体操作如下： ```python import pandas as pd # 假设您的数据框为 df，将 "缺考" 替换为 "NAN" df.replace("缺考", "NAN", inplace=True) ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值