宝典9.2——海量数据的基本处理方法

一、处理方法

表格

二、经典实例

1.top K问题

方案：分治+Trie树/hash+小顶堆

将数据集按照hash方法分成多个小数据集；

使用Trie树/hash统计每个小数据集中的query词频；

用小顶堆求出每个数据集中出现频率最高的前K个数；

在所有top K中求出最终的top K

注：

• 不能直接将数据划分，应按照hash方法划分。
  • 直接的话可能会将1000个apple分到多个数据集中，在那些数据集中它不算是最多的，不会出现在小top K中，也就不会出现在最终的top K中

有1亿个浮点数怎么找出其中最大的10000个？

方法1、将数据全部排序，在排序后的集合中找。

方法2、局部淘汰法。容器中保存前10000个数，后面的数一一与容器中的最小数进行比较，若大则替换。

方法3、分治法。分成100份，找出每份中的最大的10000个，再在100*10000个中找最大的10000个。

方法4、hash法。若数据中由很多重复的数，先用hash法，去重，减少内存量，用分治法或者最小堆法进行查找。

方法5、最小堆法。读入前10000个创建最小堆，后续数与最小堆对顶元素进行比较。

可能的应用场景：

1.单机+单核+足够大内存：方法1

2.单机+多核+足够大内存：方法3（划分块数可>核数，避免数据倾斜，一个处理完接着处理下一个）

3.单机+单核+受限内存：方法2

4.多机+受限内存：方法3（hash+Socket）

 

2.重复问题

通过位图法实现

每个数字对应位图中的一个bit位

 

3.排序问题

方法1：数据库排序法。

        让数据库索引排序操作后提取文件到内存

方法2：分治法。

        hash法将数据分段，编码复杂，速度也慢

方法3：位图法。

        数组下标表示数值，用数组元素的值0表示没有这个数，1表示有这个数