海量数据处理-面试题

何谓海量数据处理？

所谓海量数据处理，就是基于海量数据上的存储、处理、操作。何谓海量，要么就是数据量太大导致无法在短时间内迅速解决。要么就是数据太大，导致无法一次性装入内存。

针对时间，我们可以采用恰当的算法搭配合适的数据结构，例如Bloom filter、Hash、bit-map、堆、数据库索引等。

针对空间，我们可以采用分治的思想，将大规模问题化为小规模问题，各个击破。

针对单机资源受限问题，可以考虑集群。

海量数据处理方法论

1、分治/hash映射+hashmap统计+堆/快速/归并排序

2.、桶划分

3.、Bloom filter/Bitmap

4、trie树、数据库索引

5、外排序

6、分布式处理hadoop/Mapreduce

海量数据（有重复），统计重复次数最多的一个？

海量日志数据，提取出某日访问百度次数最多的那个IP。

方案一：hash映射+hashmap统计

1、首先从日志文件中将这一天访问百度的所有IP取出来放入另一个大文件中。

2、分而治之/hash映射：IP是32位的，最多2^32个IP，我们可以通过哈希函数（IP%1024）将大文件映射为1024个小文件。

3、hashmap统计：对每一个小文件，我们直接在内存中通过hashmap统计IP的频率，并保存出现频率最高IP。

4、最后从这1024个频率最高IP中找到全局频率最高的那个IP。

海量数据（有重复），统计其中出现次数最多的前K个数据。

搜索引擎会通过日志文件把用户每次检索使用的检索串记录下来，每个检索串的长度为1-255字节。假设目前有一千万个记录（重复率较高，去重后不超过300万个），请你统计最热门的10个检索串，要求使用的内存不超过1G。

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。

方案一：hashmap统计/trie+堆

由于3M*1K/4=0.75G，因此所有的字符串可以在1G内存中处理。

1、hashmap统计/trie：维护一个key为检索串，value为其出现次数的hashmap。在O(n)时间复杂度内对所有检索串进行统计。

2、堆：针对典型的Top K的问题，我们借助堆这个数据结构。维护一个大小为K的小顶堆，然后遍历hashmap中所有的元素并与堆顶元素比较，最后统计出Top K。最终时间复杂度为O(n)+O(n*log K)

方案二：hash映射+hashmap统计/trie+堆+外排序

如果内存不够，可以先进行hash映射。

1、分而治之/hash映射：顺序读取文件，对每个词通过哈希函数（hash(x)%5000），将词划分到5000个小文件中，这样每个文件大小大概是200k，如果有文件超过1M大小，仍然可以继续划分。

2、hashmap统计/trie：对每个小文件，利用hashmap/trie等统计每个文件中词的频率。

3、堆：统计完频率后将频率最大的100个词及其频率存入文件（这里可以利用最小堆）。

4、外排序：对上一步得到的5000个文件进行外排序（类似归并排序），最后取出前100个。

方案三：hash统计+堆+堆

1、hashmap统计：每台电脑上通过hashmap统计出数据的频率。

2、堆：利用小顶堆求得每个电脑上数据频率的Top K。

3、堆：将100台电脑上的所有Top 10组合起来，利用小顶堆统计最终的Top 10。

有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。

方案一：hash映射+hashmap统计/trie+快速/归并排序+外排序
1、分而治之/hash映射：顺序读取10个文件，按照哈希函数（hash(query)%10）的结果将query写入到另外10个文件中。

2、hashmap统计/trie：对每个文件利用hashmap统计query出现的频度。

3、快速/归并排序：利用排序算法对query的频度结果进行排序并输出到另外的文件中。

3、外排序：对上一步生成的10个文件进行归并排序。

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？如果是多个文件呢？

方案一：hash映射+hashmap统计

方案二：Bloom filer

1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？方案一：hash映射+hashmap统计+外排序

2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

方案一：hash映射+hashmap统计

方案二：hash映射+bitmap

方案三：Bloom filter

5亿个int找它们的中位数。

 方案一：桶划分

给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？

 方案一：Bloom filter

方案二：bitmap