- 博客(3)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MapReduce: 提高MapReduce性能的七点建议[译]
Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人一样，找出关键的“症状”，对于不同的症状有不同的诊断和处理方式。 在医学领域，没有...
2015-11-06 16:06:41
100
原创 Hadoop 2.x的DistributedCache无法工作的问题
现象：和这个帖子描述的一样，简单说来就是，在Hadoop 2.x上，用新的DistributedCache的API，在mapper中会获取不到这个cache文件。下面就详细地描述一下新旧API的用法区别以及解决办法。『1』旧API将HDFS文件添加到distributed cache中： 1 2 Configuration conf = job.getConfi...
2015-11-04 09:24:22
114
原创 浅析Mapper类之setup()和cleanup()方法
hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。 setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ clean...
2015-11-04 09:23:24
196
一份完整的Spring+Hibernate+DWR+extJs的生成树及下拉comBoboxTre..
2009-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人