- 博客(4)
- 资源 (6)
- 收藏
- 关注
原创 MapReduce_V1总结
1,执行过程。 1.1,Map/Reduce Task任务分配。根据输入文件,基本上每个文件Block对应一个MapTask(也可能多对一),而Reduce Task则较少; 1.2,Map Task 执行map函数。执行map函数得到Key/Value对; 1.3,Partition过程。map函数输出的Key/Value要分配到Reduce Task,默认对Key/Value进行Hash
2013-09-30 16:05:03 1024
转载 二度人脉算法MapReduce实现(工程代码和数据文件)
首先感谢 http://my.oschina.net/BreathL/blog/75112 的作者,把楼主的代码拿过来,造了些数据,跑了起来。 其中TextPair自定义数据类型,在代码中用的时候种种类型相关的异常,最后不行,把输入/输出串做Text处理。 Hadoop版本1.2.1。 附件中包含代码工程和数据文件。 但是实际使用应该还有很多工作要做,稍加臆测,以新浪微博为例:大V×大V数
2013-09-29 17:56:25 1213
原创 Redis印象总结
01,除了基础的K-V之外,还支持多种数据结构,包括Sort Set/Queue/Set/Map等; 02,支持对K-V中的Value的String Append操作; 03,支持INC/DEC的原子操作; 04,支持对List进行类似JMS的Publish/Subcribe操作; 05,支持事务,Multi/Watch/Unwatch/Exec操作; 06,支持Lua脚本,可以在Red
2013-09-11 10:17:40 794
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人