![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
action5362603
这个作者很懒,什么都没留下…
展开
-
海量数据处理:十道面试题与十个海量数据处理方法总结
者:July、youwang、yanxionglu。时间:二零一一年三月二十六日说明:本文分为俩部分,第一部分为10道海量数据处理的面试题,第二部分为10个海量数据处理的方法总结。有任何问题,欢迎交流、指正。出处:http://blog.csdn.net/v_JULY_v。------------------------------------------第一部分、十道海量数据处理面试题...原创 2016-04-17 14:50:37 · 118 阅读 · 0 评论 -
提取出某日访问网站次数最多的那K个IP
提取出某日访问百度次数最多的那K个IP 基本思路:ip最多2^32个,放入内存也要40G,基本不现实。所以只有用外排序,把ip分割成到不同的小文件里,然后统计次数后,汇总。另外,ip本质就是一32bit的数值,不要拘泥于字符串表示的ip。思路也可参考此处问题一基于以上思路,看代码: package com.kingdee.gmis.ips;import java...原创 2015-06-04 20:11:49 · 344 阅读 · 0 评论 -
提取出某日访问网站次数最多的那K个IP之并发版
前边提到了单线程的实现,这里贴出多线程版,此处主要用多线程去处理hash后的小文件: Java代码 package com.kingdee.gmis.mass.data.ips; import static com.kingdee.gmis.mass.data.ips.MassIP.K10; import static com.kingdee.g...原创 2015-06-04 20:33:47 · 127 阅读 · 0 评论 -
几种经典算法回顾
今天无意中从箱子里发现了大学时学算法的教材《算法设计与分析》,虽然工作这么几年没在什么地方用过算法,但算法的思想还是影响深刻的,可以在系统设计时提供一些思路。大致翻了翻,重温了一下几种几种经典的算法,做一下小结。分治法动态规划贪心算法回溯法分支限界法分治法1)基本思想将一个问题分解为多个规模较小的子问题,这些子问题互相独立并与原问题解决方法相同。递归解这些子...原创 2016-04-08 22:26:45 · 138 阅读 · 0 评论