本篇文章记录了Myeclipse中配置Hadoop2.8.5的详细过程。另附上hadoop-eclipse-plugin-2.8.5.jar.此外要十分感谢这篇文章《大数据入门(七)win10上eclipse使用Hadoop的配置》的作者,他记录了十分详细的配置过程,让我在配置Myeclipse的过程中少走了很多弯路。
目录
1.配置好Hadoop-2.8.5
在《windows10下配置hadoop2.8.5超详细过程**》**一文中,我写到了具体的配置过程。
2.准备好hadoop-eclipse-plugin-2.8.5.jar包
传送门:https://pan.baidu.com/s/1RSpuhfToCjO-wHYyZXDc5Q 提取码:7lhc
hadoop-eclipse-plugin-2.8.5.jar
把这个jar包放在Myeclipse的plugins目录下。(eclipse也是放在plugins下)
3.开始配置
① 首先,用cmd启动hdfs。
在这里我使用管理员模式打开cmd
start-dfs.cmd # 或者是start-dfs
这里,箭头所指的两个框没有java的报错才可以。
② hdfs的文件系统中要有input和output文件夹。
如果没有,建议先建好文件夹。不然在eclipse中配置完之后会报错!
类似于下面的错
这个图来自于前言中提到的博主的文章。
创建文件夹的命令是
hadoop fs -mkdir [写一个路径]# 举个栗子 e.g.hadoop fs -mkdir /user/root/inputhadoop fs -mkdir /user/root/output
这里要注意:
- 创建文件夹的时候要一层一层往下建。比如上图的这个例子,如果root不存在,那么直接去建root下的input或者output会报错。
- 这里有非映射警告,但是,这个警告不影响命令执行。这是由于我安装了高版本的JDK。安装JDK1.8即可,在JDK1.8下就不会有这个警告了。
查看文件夹的命令是
hadoop fs -ls [写dfs上的路径]# 举个栗子 e.g.hadoop fs -ls /user/root
③配置Myeclipse或Eclipse
打开eclipse或者Myeclipse
点击window --》 preference ,会发现左侧已经有了Hadoop
点击Hadoop,然后配置hadoop的安装路径,我安装到了D:/software/hadoop-2.8.5下
④打开hadoop窗口
- 点击windows—》show view --》views
然后,就跳出来一个框,最初的时候是什么都没有的
- 点击右侧蓝色按钮,新建一个location
- 进行配置
要注意4个框
- location name:这个地方可以随便写
- MapReduce:这里可以保留默认端口,也可以写配置文件mapred-site.xml中job tracker的端口号。
- DFS Master下的端口号要写core-site.xml 下的端口号
- 至于host:由于本机是配在了windows10下的主机上,hadoop环境也是win10下的,所有就写了localhost。如果是远程的,这里就好配置远程主机的信息了。
⑤查看Hadoop的文件
配置好之后看左侧是否有Hadoop的文件夹。如果没有,尝试重启eclipse
这里要在Explorer下面查看hadoop的文件夹,我一开始是在包资源管理器下面,发现并没有Hadoop的文件夹,疑惑了好久。
4结束
至此,在eclipse下面配置Hadoop-2.8.5就成功啦!!!
最后,我附上石墨文档的链接,大家可以查看文档
传送门:
https://shimo.im/docs/JRPPTRP9pWCjc6Qt/ 《Myeclipse中配置Hadoop2.8.5》,可复制链接后用石墨文档 App 或小程序打开