hadoop
tomjourney
积善之家 必有余庆
展开
-
如何导入hadoop源码到eclipse
需要进一步学习hadoop、需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中。简单总结一下,具体步骤如下:首先确保已经安装了git、maven3、protobuf2.5、如果没有安装需要提前安装一下0、preliminarylinux distribution(我的是 centos) Eclipse 4.3 JDK1.6.0_45 Maven 3.0.4 Protoco原创 2015-06-06 18:57:46 · 1034 阅读 · 0 评论 -
使用MRUnit,Mockito和PowerMock进行Hadoop MapReduce作业的单元测试
0、preliminary 环境搭建Setup development environmentDownload the latest version of MRUnit jar from Apache website: https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/. For原创 2015-06-14 08:52:25 · 1103 阅读 · 0 评论 -
hadoop2.6.0+eclipse配置
【0】安装前的声明0.1) 所用节点2个master : 192.168.119.105 hadoop5 slave : 192.168.119.101 hadoop1 (先用一个slave,跑成功后,在从master分别scp到各个slaves即可】)0.2) 每个机子的那些个文件需要一样(或者直接从master直接scp到各个slaves即可)vim /etc/hosts(主机名和ip原创 2015-06-06 19:16:02 · 991 阅读 · 0 评论