海量数据问题总结

这个是一系列问题，互联网公司，一些基本的功能都已经做的很完善了，海量数据处理成为重点的问题，也是面试笔试中常考的题目。主要参考 http://blog.csdn.net/v_july_v/article/details/6279498

1.分而治之/hash映射 + hash统计 + 堆/快速/归并排序

hash映射很重要，分类后的数据不会分散，某一个类别的数据会全部在一起。用hash_map统计的速度要比map的速度快，因为hash_map没有自动排序的功能。

典型的题目为，海量数据，求出前K个出现次数最多的。

时间复杂度为O（N） + N'*O（logK），（N'）为去重后的数据量。

2.双层桶划分

其实也是分而治之的一种，只是比较特殊的分法。PS：分而治之只是一种思想，方法根据具体问题而不同。

典型题目为：第k大，中位数，不重复或重复的数字（PS:注意是数字，算法的导论有）

一个数字整数的个数最多为2^32个，那么可以抓住数的特性来分，分出来的区域是有大小的，那么可以先统计区域数的个数，而不用排序（关键是不用比较），先确定数（如中位数）在哪个区域，可以再分区域，然后在在这个区域里面找出这个数。

3.Bloom filter/Bitmap

这个bloom filter 有点不懂了，不过bitmap还是挺简单的。

典型题目：

一、找出N多数中不重复的整数。可用两位表示一个整数，（因为要有三种状态00，这个数没有出现（PS:找出没有出现的数也是一个考点）01，这个数出现一次。10，这个数出现两次或多次。11无意义。）也可以说找出N多数目中出现两次的数，或大于两次的数。出现多次就要用给多的bit位了，其实原理都一样。

二、给出N多数，有给出M多数，判断M个数里面哪个出现在N多数里面了，同理。如果特别多，先分，在判断。

4.Trie树/数据库/倒排索引/外排序/Mapreduce/B树、B+树、B*树、R 树。

trie树的典型应用就是汉语分词，而B树和各种B树的变形都是应用在数据库上比较多，B类树的高度底，查找次数少，读取硬盘次数少。

5.对于数字与的技巧

N多的数字，都是一对一对出现的，即每个数字都有副本，现在假如告诉有一个数字只有一个，找出这个单个的数字，可以用数字的“与”操作，把所有的数字与操作后得到的就是那个要找的数字，这样的数字空间复杂度只有O(1)。如果有两个这样的数字，那么可以把这批数字分类，两个不同的数字，那么32位中肯定有一位或者多位是不同的，那么可以按照这个特点把数字分成两类，分好后就成了解决两个只有一个单个数字的问题了。关键是如何找到这个不同的位，可以先把所有的数字与，得出来的有有1的位即是这两个待求数字的不同位了，随便找出一个来就可以分类了～与操作是个解决数字问题的一个技巧