海量数据问题

1、怎么在海量数据中找出重复次数最多的一个?

将大文件的数据进行hash，相同hash值的数据分配到一个文件，然后统计出每个文件出现次数最多的单词和对应次数，然后比较每个文件的最大出现次数，得到重复次数最多的单词

 

2、上千万或上亿数据(有重复)，统计其中出现次数最多的前 N 个数据。

 

3、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。

 

 

4、100w 个数中找出最大的 100 个数。

100W个数进行hash%1000，得到1000个文件，然后得到每个文件的top100，然后放入一个文件求top100

 

5、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。请用 5 分钟时间，找出重复出现最多的前 10 条

将一千万短信hash后存入到10000份文件中，然后找出每个文件中重复最多的10条，然后存入一个文件，找出重复最多的10条

 

6、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

将a b 两个文件进行hash成1000份小文件，hash之后 不对应的小文件不会有相同的url，然后将a的小文件放入集合去遍历b对应的文件，找到相同的url

 

7.现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP

Step1：从这一天的日志数据中把访问百度的IP取出来，逐个写入到一个大文件中;

Step2：注意到IP是32位的，最多有2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件;

Step3：找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率;

Step4：在这1000个最大的IP中，找出那个频率最大的IP，即为所求。