MasonChen的专栏

点点滴滴。积少成多。厚积薄发

第二部分、十个海量数据处理方法大总结

第二部分、十个海量数据处理方法大总结 ok,看了上面这么多的面试题,是否有点头晕。是的,需要一个总结。接下来,本文将简单总结下一些处理海量数据问题的常见方法,而日后,本BLOG内会具体阐述这些方法。 下面的方法全部来自http://hi.baidu.com/yanxionglu...

2016-07-30 15:17:18

阅读数:627

评论数:0

第一部分、十道海量数据处理面试题

第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP 取出来,逐个写入到一个大文件中。 注意到IP是32位的,最多有个2^32个IP。 采用映射的方法,比如模1000,把整个大文件映射为1000个小文件, 再找出每...

2016-07-30 11:58:44

阅读数:190

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭