海量数据问题分析

所谓的海量数据问题不是什么高大上的问题，其实就是当数据量大到我们普通计算机的内存不够用了。

下面借助几个问题来简单分析一下：
一. 给一个超过100G大小的日志文件, 日志中存着IP地址, 设计算法找到出现次数最多的IP地址？
如图所示：

1. 将日志文件中的 每一个 ip%1000，这样就能将100G的文件分成1000个小文件，每个文件大概在100M左右，这样我们普通电脑的内存就足够用了。
2. 这样使得所有相同ip进入了同一个文件，但并不是每个文件中的ip都是相同的，所以需要统计每个文件中的ip及其出现次数。可以利用哈希桶的KV模型对每个文件的ip出现次数进行统计。

二. 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集

1.将其中的一个文件中的所有整数建立位图，然后读取另一个文件中的整数去位图中查找，若找到了，则该整数是两个文件交集中的整数，若没找到，则这该整数不是两文件的交集。

三. 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？

1. 假设一个query位30字节 那么100一个query的文件有300G左右
2. 将 num=query%1000 A文件 A0-A999 B文件 B0-B999
3. 那么 分别对每个标号相同A，B小文件中的query进行求交集
4. 将所有交集汇总。

**四 .给上千个文件，每个文件大小为1K—100M。给n个设计算法对每个词找到所有包含它的文件，
你只有100K内存**
1.用分词算法将每个文件进行分词.
2.依次将每个文件中的词进行哈希算法映射到哈希表上，然后将该词所在表的表名依次链接到
哈希桶上，相同单词且在同一文件中，不重复插入。
3.查找每个词及包含它的文件只需遍历哈希桶即可