eclipse hadoop2.4.1插件开发

一、首先得配置好开发环境

1.加入插件包如下所示

2.启动eclipse

window->preferences:如下图所示

点击map/reduce，配置好hadoop的目录

按照下图步骤1、2、3

在控制台点击右键创建new hadoop location

配置如上图所示：

1.你可以随意取个名字

2.填写hadoop主节点的位置

3.为默认，不用修改

4.为core-site.xml中的端口如下：

<property>
<name>fs.defaultFS</name>
<value>hdfs://msg-01:9000</value>
</property>

配置完上面的，回到eclipse主界面,如下图所示，则你已经成功了

红色部分则为，hadoop集群中hdfs上的文件

现在来创建一个简单实例测试一下

package com.mkdir.ywd;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class MkDir {

	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		Configuration configuration = new Configuration();
		FileSystem fileSystem = FileSystem.get(configuration);
		fileSystem.mkdirs(new Path("/user/hadoop/20120722"));
	}

}

引用的jar,在hadoop-2.4.1\share\hadoop下面

创建好java project 打包成jar ，上传到hadoop主节点上

如上所示，文件上传成功

执行jar

上图中，第一次执行有异常，看提示是编译的问题，我eclipse使用的是1.7 而hadoop集群采用的是1.6

解决方法：修改eclipsejdk为1.6,重新编译后再次上传，如图中下面所示，没有问题。。

执行hadoop fs -ls /user/hadoop则可以看到文件夹创建成功