数据结构 — 海量数据处理

在之前的数据结构学习中，关于数据的搜索，主要有搜索二叉树、AVL树、红黑树、哈希表这几种算法；当数据较少时，可以使用这些算法；当数据量特别大（超出内存的容量），这些算法便不能处理了。那如何处理海量数据呢？下面有几道题

1）给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址
思路：100G大小，它明显超出了内存的容量范围；要处理这些大数据，可以将它切分成一些小文件（小文件的容量大小小于内存容量）；然后对这些小文件利用学过的算法进行处理；此题中的IP地址可以看成是一个一个的字符串；利用字符串哈希算法，将不同的IP地址映射到不同的小文件中；此时相同的IP地址，位于同一个文件；在每一个小文件里创建一个coutmap