一、处理方法
表格
二、经典实例
1.top K问题
方案:分治+Trie树/hash+小顶堆
将数据集按照hash方法分成多个小数据集;
使用Trie树/hash统计每个小数据集中的query词频;
用小顶堆求出每个数据集中出现频率最高的前K个数;
在所有top K中求出最终的top K
注:
- 不能直接将数据划分,应按照hash方法划分。
- 直接的话可能会将1000个apple分到多个数据集中,在那些数据集中它不算是最多的,不会出现在小top K中,也就不会出现在最终的top K中
有1亿个浮点数怎么找出其中最大的10000个?
方法1、将数据全部排序,在排序后的集合中找。
方法2、局部淘汰法。容器中保存前10000个数,后面的数一一与容器中的最小数进行比较,若大则替换。
方法3、分治法。分成100份,找出每份中的最大的10000个,再在100*10000个中找最大的10000个。
方法4、hash法。若数据中由很多重复的数,先用hash法,去重,减少内存量,用分治法或者最小堆法进行查找。
方法5、最小堆法。读入前10000个创建最小堆,后续数与最小堆对顶元素进行比较。
可能的应用场景:
1.单机+单核+足够大内存:方法1
2.单机+多核+足够大内存:方法3(划分块数可>核数,避免数据倾斜,一个处理完接着处理下一个)
3.单机+单核+受限内存:方法2
4.多机+受限内存:方法3(hash+Socket)
2.重复问题
通过位图法实现
每个数字对应位图中的一个bit位
3.排序问题
方法1:数据库排序法。
让数据库索引排序操作后提取文件到内存
方法2:分治法。
hash法将数据分段,编码复杂,速度也慢
方法3:位图法。
数组下标表示数值,用数组元素的值0表示没有这个数,1表示有这个数