位图排序 大数据_大数据排序

本文将向您讲述诸多数据处理面试题以及方法的总结。

第一部分、十道海量数据处理面试题

1

、海量日志数据，提取出某日访问百度次数最多的那个

IP

。

此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：

IP

的数目还是有

限的，最多

2^32

个，所以可以考虑使用

hash

将

ip

直接存入内存，然后进行统计。

再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的

IP

取出来，逐个写

入到一个大文件中。注意到

IP

是

32

位的，最多有个

2^32

个

IP

。同样可以采用映射的方

法，比如模

1000

，把整个大文件映射为

1000

个小文件，再找出每个小文中出现频率最大

的

IP

(可以采用

hash_map

进行频率统计，然后再找出频率最大的几个)及相应的频率。

然后再在这

1000

个最大的

IP

中，找出那个频率最大的

IP

，即为所求。

2

、

搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，

每个查询

串的长度为

1-255

字节。

假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是

1

千万，但如果

除去重复后，不超过

3

百万个。一个查询串的重复度越高，说明查询它的用户越多，也就

是越热门。)，请你统计最热门的

10

个查询串，要求使用的内存不能超过

1G

。

典型的

Top K

算法，还是在这篇文章里头有所阐述。文中，给出的最终算法是：第一

步、先对这批海量数据预处理，在

O

(

N

)的时间内用

Hash

表完成排序；然后，第二步、

借助堆这个数据结构，找出

Top K

，时间复杂度为

N‘logK

。即，借助堆结构，我们可以在

log

量级的时间内查找和调整

/

移动。因此，维护一个

K(

该题目中是

10)

大小的小根堆，然

后遍历

300

万的

Query

，

分别和根元素进行对比所以，

我们最终的时间复杂度是：

O

(

N

)

+ N'*O

(

logK

)，(

N

为

1000

万，

N’

为

300

万)。

ok

，更多，详情，请参考原文。