环境说明:
- windows 7
- Eclipse mars
- hadoop-eclipse插件
- hadoop-core-1.2.1-forwinlocal.jar
- hadoop集群
hadoop-1.2.1-bin.tar.gz
3.4的下载地址见http://pan.baidu.com/s/1i4ejXch
首先有两种运行方式:
- MR程序以Local模式运行在windows本地,操作hdfs的文件。适用于利用小规模的数据集调试MR程序,之后打包成jar上传到集群进行正式的作业。
- MR程序直接运行在hadoop集群上,省去打包上传到集群的步骤,Eclipse的Console会打印相关信息
推荐使用第一种方式,一是由于配置简单,二是由于正式作业时间较长,这样就可以不用直接开着自己电脑上的Eclipse了。调试好的程序直接去运行即可。以下分开对两种运行模式的配置做说明。
注:为解决部分权限问题,需要将windows的用户名Administrator或者自定义的用户名修改为hadoop集群的用户名称,如root,或hadoop等。
Windows的Local模式运行
- 将hadoop-eclispe插件放入eclipse安装目录的plugins文件夹下
- 解压hadoop-1.2.1-bin.tar.gz,将hadoop-core-1.2.1.jar替换为hadoop-core-1.2.1-forwinlocal.jar。如不替换,