首先需要相应的插件:
hadoop-eclipse-plugin(我这里是2.7.3版本的)、hadoop.dll、winutils.exe
对用的包下载地址:下载插件
将本地的hadoop压缩包解压到本地,目录必须是英文目录
把hadoop.dll和winutils.exe放到bin目录下
再将hadoop-eclipse-plugin插件放到eclipse下的plugins文件夹中
修改环境变量
点击高级系统设置
点击环境变量
新建一个HADOOP_HOME,是你自己的hadoop的目录
新建一个HADOOP_USER_NAME,是你的用户名,可以设置成root用户,也可以设置成你自己创建的用户
修改path,添加hadoop的bin
重启eclipse
点击window–>preferences
1.
2.
3.
4.这个时候控制台会出现Map/Reduce Location
5.点击小象
这时在目录中会有
测试是否成功
/**
* 创建目录
* @throws IOException
* @throws InterruptedException
* @throws URISyntaxException
*/
private static void mkdir() throws IOException, InterruptedException, URISyntaxException {
// 声明配置文件
Configuration conf = new Configuration();
// 得到HDFS的文件系统
FileSystem fs = FileSystem.get(new URI("hdfs://Master:8020"), conf, "xm");
// 在HDFS中创建一个文件夹
boolean isMkdirs = fs.mkdirs(new Path("/user/test1"));
System.out.println("创建目录" + isMkdirs);
}
运行,在web中查看