通过之前对HDFS、MapReduce的学习,我们了解到Hadoop也是需要编程的。那么使用java的我就产生了一个需求,在eclipse中对hadoop数据进行上传下载,以便于为进行测试。
一、下载插件包
我这里使用的是eclipse luna版本,在网上下载eclipse相应插件包。我下的是hadoop-eclipse-plugin-2.5.1.jar。如下图
二、安装插件
将这个插件包拷贝至eclipse安装目录的plugin目录下,启动eclipse
三、配置 使用插件
eclipse打开后点击菜单 window--show view --others,会看到多出如下选项则说明插件安装成功
双击后,出现下图的框
点击后,如下图所示
配置完成后,点击Finished。之后我们会看见如下结果
点击Map Reduce视图后,会看见左侧Project Explorer多出如下。
但是我们发现,我们打不开,那是因为我们在windows上登录hadoop默认是被拒绝的,只需要在hadoop安装目录下/etc/hdoop/hdfs-site.xml文件中加入如下配置即可
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
注意要将这个配置更新至hadoop各个节点主机中,之后重启hadoop。
接下来再次双击打开DFS Locations会看到如下结果