算法-海量数据处理

海量数据处理

1. 散列分治

对于海量数据，由于没办法将其一次性装入内存进行处理，不得不将其通过散列映射的方法分割成相应的小块数据，然后再对各个小块数据通过hash_map进行统计或其他操作。

1.1 寻找 Top K 问题

提取出某日访问百度次数最多的那个IP

解决问题三个步骤：

1. 分而治之/散列映射。现将该日访问的IP全部提取出来，逐个写入到一个大文件中，然后采取散列映射的方式如（hash(IP)%1000），把大文件的数据映射到1000个小文件中。
2. hash_map统计，用hash_map(ip,value)分别对1000个小文件的IP进行频率统计，找出每个小文件中出现频率最高的IP，最后得到1000个IP。
3. 堆/快速排序。统计出1000个频率最高的IP后，根据他们的频率大小进行排序。得到最高的IP。

一般策略是：分而治之/散列映射（如有必要）+hash_map+堆

2. 多层划分

因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后在一个可以接受的范围内查找。

2.1 寻找中位数

找出5亿个int型整数的中位数

1. 将5亿个整数分成2^16个区域，读取数据落在各个区域里的个数。
2. 根据统计结果就可以判断出落到那个区域，并知道区域里第几大是中位数。
3. 再次扫描落在这个区域里的那些数就可以了。

3. MapReduce

4. 外排序

需要处理大量数据，但内存没办法全部放下，数据只能存放在硬盘上。外排序采取的一种“排序-归并”策略。

1. 排序阶段，先读入能放在内存中的数据，将其拍下后输出到一个临时文件中。依次进行，将排序数据组织为多个有序的临时文件。
2. 归并阶段，将这些临时文件组合成一个大的有序文件，即排序结果。

5. 位图

用一个位(bit)来标记某个元素对应的值，而键就是该元素。采用位为单位，可以大大节省空间。

5.1 电话号码统计

文件中包含一些电话号码，每个号码8位，统计不同号码的个数。

8位号码最多99 999 999个号码，大概99M位，采用位图，1表示存在，0表示不存在，最后统计个数。

5.2 2.5亿个整数去重

2.5亿个整数找出不重复的数，内存中不足以存放这2.5亿个整数

采用二位图（每个数分配2位，00表示不存在，01表示出现一次，10表示出现多次，11无意义），读取某个数，如果00变成01,01则变成10，最后输出01的个数。

5.3 整数快速排序

读入数据，存在置1，不存在则保持为0，最后依次输出为1的数字。

6. 布隆过滤器

Bloom Filter是一种空间效率很高的随机数据结构。

1. 其结构为长度为n的位数组，初始化全为0。当一个元素被加入集合中时，通过k个散列函数将这个元素映射成一个位数组中的k个点，并将这k个点全部置1。
2. 检查一个元素是否在集合中时，只要看这个元素被映射成位阵列的k个点是不是都是1，就能大致判断这个元素是否在集合中。如果存在某个点为0，则该元素一定不再集合中，如果都为1，该元素可能在集合中。

布隆过滤器存在一定的误差，不适合零误判的应用场合，因为有可能是其他元素让改变了相应位的值。适合可以容忍一定的误判率的，比如垃圾邮件过滤。

7. Trie树

Trie树，线索树，单词查找树或键树。是一种树型结构，常用于统计和排序大量字符串等场景中（但不局限与字符串），经常被搜索引擎用于文字词频统计。它的优点是最大程度的减少无谓的字符串比较，查询效率较高。

它具有三个性质：
1. 根节点不包含字符，除根节点外每一个节点都包含一个字符
2. 从根节点到某一节点的路径上经过的字符连接起来，即为该节点对应的字符串
3. 每个节点的所有子节点包含的字符都不相同

故每一层的节点数都是26^i级别的，顺着根节点向下找，如果该节点被标记，则存在，否者不存在，则标记，即插入该元素，这样一来，插入和查询操作可以一起实现。