![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
淘知道
喜欢编程,研究新问题
展开
-
十道海量数据处理面试题
第一部分、十道海量数据处理面试题 1、海量日志数据,提取出某日访问百度次数最多的那个IP。 此题,在我之前的一篇文章算法里头有所提到,当时给出的方案是:IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。 再详细介绍下此方案:首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个转载 2015-05-07 20:03:56 · 252 阅读 · 0 评论 -
Google云计算核心技术大揭秘
Google云计算核心技术大揭秘 发表于2010-06-07 11:01| 来源博客| 作者王丽兵 搜索引擎数据结构分布式应用google云计算 摘要:本系列是基于公开资料对Google App Engine是如何实现的这个话题进行深度探讨。而且在切入Google App Engine之前,首先会对Google的核心技术和其整体架构进行分析,以帮助大家之后转载 2015-05-09 18:02:07 · 669 阅读 · 0 评论