海量数据面试题

最新推荐文章于 2020-09-16 11:49:42 发布

Dyson~

最新推荐文章于 2020-09-16 11:49:42 发布

阅读量385

点赞数 2

分类专栏：数据结构文章标签：海量数据面试题

本文链接：https://blog.csdn.net/ds19980228/article/details/82668616

版权

26 篇文章 2 订阅

订阅专栏

位图应用 :

题目一 : 位图应用给定100亿个整数，设计算法找到只出现一次的整数

题目二 : 给两个文件分别有100亿个整数，我们只有1G内存，如何找到两个文件交集

思路 : 我们可以用两个位图 , 两个位图可以组成用两个为组成三种状态 , 都不存在 ( 0 0 ) , 都存在 ( 1 1 ) , 其中一个存在 ( 0 1 ) 或者 ( 1 0 ) , 然后用第一个位图先将第一个文件的数据存放进去 , 再用另外一个位图去存放第二个文件 , 然后将两个位图相与即可得到两个文件的交集 ,

位图变形 :

题目三 : 1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

思路 : 使用两个位图 , 也是应用其组成的四个状态 , 没有出现 ( 0 0 ) , 出现了一次 ( 0 1 ) , 出现两次 ( 1 0 ) , 三次及三以上 ( 1 1 ) 当存放一个元素时 , 只要找出该元素在两个位图中状态不是 ( 1 1 )的时候 , 便可得到文件中出现次数不超过2次的所有整数

哈希切割top K问题 :

题目四 : 给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数多的IP地址 ?

思路 : 1 . 使用哈希切割 , 将100G大小的文件分成1000分小文件 , 2 . 使用 HashStr( IP )%1000 将每个文件上的IP地址映射到哈希表中 , 然后将IP地址转化成整数形式 3 . 使用Key Value 模型 , 将IP地址出现的次数保存起来 4 . 将每个小文件中IP地址出现的次数进行比较 , 找出出现次数最多的IP地址

题目五 : 给一个超过100G大小的log file, log中存着IP地址, 如何找到top K的IP ？

思路 : 相当于在1000个小文件里边寻找top K个IP , 去K个IP地址建立一个小堆 , 若果大于堆顶元素则则覆盖堆顶元素 , 若果小于堆顶元素则不处理 , 最后堆里边的元素就是top K个IP

布隆过滤器 :

题目六 : 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法

精确算法 : 使用哈希切割的思想

近似算法 : 使用布隆过滤器 , 将一个文件中的元素全部映射到位图中 , 然后用取第二个文件进行一次比较 , 找出交集部分 , 但是该方法得出来的交集存在着不准确性 , 有可能不相同的元素映射的相同的位

扩展 : 如何扩展BloomFilter使得它支持删除元素的操作 ? 如何扩展BloomFilter使得它支持计数操作 ?

思路 : 布隆的删除和计数可归为一类问题，原本布隆是一个元素映射到多个位置上，这个位置上的值是一个Key,现在将其改为数据存在的个数，每当映射到相同的位置，该位置上的数进行加1，最后每个位置上的值表示出现某一元素映射到该位的次数

关注

专栏目录