![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据量处理方法
文章平均质量分 87
ohdearmygod
这个作者很懒,什么都没留下…
展开
-
堆处理(欢迎大家转债,下面有原文链接;,是学习互联网的不错学习博客)...
海量数据处理专题(五)——堆 海量数据 <!-- /.postdata --> <!-- /.title --> <!-- /.title-container --> 【什么是堆】概念:堆是一种特殊的二叉树,具备以下两种性质1)每个节点的值都大于(或者都小于,称为最小堆)其子节点的值2)树是完全平衡的,并且最后一层的树叶都在最左边...原创 2011-10-17 21:23:31 · 91 阅读 · 0 评论 -
海量总结
第一部分、十道海量数据处理面试题 1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最...原创 2011-10-23 18:43:33 · 62 阅读 · 0 评论