大数据处理
Adam040606
这个作者很懒,什么都没留下…
展开
-
海量数据处理面试题整理
本文整理自July的博客:http://blog.csdn.net/v_JULY_v 1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用转载 2015-05-12 15:18:21 · 646 阅读 · 0 评论 -
Google MapReduce
转自:http://www.open-open.com/lib/view/open1328763069203.html 摘要 MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后再创建一个Reduce函数用来合并所转载 2015-06-02 16:36:37 · 522 阅读 · 0 评论 -
The Google File System
转自:http://www.open-open.com/lib/view/open1328763454608.html 摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布转载 2015-06-02 16:39:38 · 559 阅读 · 0 评论