算法——海量数据(5%)

1，有一个很大很大的输入流，大到没有存储器可以将其存储下来，

而且只输入一次，如何从这个输入流中随机取得

m个记录。

2，大量的URL字符串，如何从中去除重复的，优化时间空间复杂度

3， 设计一个系统处理词语搭配问题，比如说中国和人民可以搭配，

则中国人民人民中国都有效。要求：

*系统每秒的查询数量可能上千次；

*词语的数量级为10W；

*每个词至多可以与1W个词搭配

当用户输入中国人民的时候，要求返回与这个搭配词组相关的信息。

 4， 有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。

请用5分钟时间，找出重复出现最多的前10条。

5， 大整数数相乘的问题。

6，一个url指向的页面里面有另一个url,最终有一个url指向之前出现过的url或空，这两种情形都定义为null。这样构成一个单链表。给两条这样单链表，判断里面是否存在同样的url。url以亿级计，资源不足以hash。

7，搜索引擎中5亿个url怎么高效存储

8，有几百亿的整数，分布的存储到几百台通过网络连接的计算机上，你能否开发出一个算法和系统，找出这几百亿数据的中值？就是在一组排序好的数据中居于中间的数。显然，一台机器是装不下所有的数据。也尽量少用网络带宽。

9，10亿个int型整数，如何找出重复出现的数字

10，有2G的一个文本文档，文件每行存储的是一个句子，每个单词是用空格隔开的。问：输入一个句子，如何找到和它最相似的前10个句子。

11，优酷是一家视频网站，每天有上亿的视频被观看，现在公司要请研发人员找出最热门的视频。 
该问题的输入可以简化为一个字符串文件，每一行都表示一个视频id，然后要找出出现次数最多的前100个视频id，将其输出，同时输出该视频的出现次数。 
1.假设每天的视频播放次数为3亿次，被观看的视频数量为一百万个，每个视频ID的长度为20字节，限定使用的内存为1G。请简述做法，再写代码。 
2.假设每个月的视频播放次数为100亿次，被观看的视频数量为1亿，每个视频ID的长度为20字节，一台机器被限定使用的内存为1G。 

12，分布式系统设计
有1000亿个URL，其中大约有5亿个site。每天的更新大约2%-5%。设计一个系统来解决存储和计算下面三个问题。可用分布式系统。
URL：http///site[port]*(key==?;key==?)
site:[*].domain
  URL：http://www.baidu.com/baidu?word=%E5%AE%A3%E8%AE%B2%E4%BC%9A&ie=utf-8
  site：：www.baidu.com
domain：：baidu.com
key=baidu?word
    a>检测每个域名下的site数目，以及每个site下的URL数目，输出site变化超过一定阈值的域名以及URL数目变化剧烈的site。找出泛域。
泛域：该域下的site数目超过500个，且每个site下的URL数目超过100个。
    b>提取URL中key的特征，对site进行聚类；
(每个site下面有多个URL，这些URL中有许多key，可以获取这些key作为site的特征，对site进行聚类，不过这应该是多机器联合的)
    c>对于给定的domain，输出该domain下的所有site。 

13，海量数据中，寻找最小的k个数

14，假设一个大小为100亿个数据的数组，该数组是从小到大排好序的，现在该数组分成若干段，每个段的数据长度小于20「也就是说：题目并没有说每段数据的size 相同，只是说每个段的 size < 20 而已」，然后将每段的数据进行乱序（即：段内数据乱序），形成一个新数组。请写一个算法，将所有数据从小到大进行排序，并说明时间复杂度。

 

 

转载于:https://www.cnblogs.com/msfte/archive/2012/12/18/2823365.html