海量数据面试题

哈希切割

1. 给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

思路 :
1 . 使用哈希切割 , 将100G大小的文件分成1000分小文件 ,
2 . 使用 HashStr( IP )%1000 将每个文件上的IP地址映射到哈希表中 , 然后将IP地址转化成整数形式
3 . 使用Key Value 模型 , 将IP地址出现的次数保存起来
4 . 将每个小文件中IP地址出现的次数进行比较 , 找出出现次数最多的IP地址

2.与上题条件相同， 如何找到topK的IP？

思路 :
相当于在1000个小文件里边寻找top K个IP , 去K个IP地址建立一个小堆 , 若果大于堆顶元素则则覆盖堆顶元素 , 若果小于堆顶元素则不处理 , 最后堆里边的元素就是top K个IP

位图应用

1. 给定1000亿个整型，设计算法找到只出现一次的整数？

用bitmap表示数据，bitmap中每两位代表一个整数，00代表该整型未出现过，01代表出现过1次，11代表出现超过1次。最后只需输出01对应的整型即可。（优点：节省内存）

2. 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件的交集？

使用hash函数将第一个文件的所有整数映射到1000个文件中