Myeclipse中配置Hadoop2.8.5

本篇文章记录了Myeclipse中配置Hadoop2.8.5的详细过程。另附上hadoop-eclipse-plugin-2.8.5.jar.此外要十分感谢这篇文章《大数据入门(七)win10上eclipse使用Hadoop的配置》的作者,他记录了十分详细的配置过程,让我在配置Myeclipse的过程中少走了很多弯路。

1.配置好Hadoop-2.8.5

在《windows10下配置hadoop2.8.5超详细过程**》**一文中,我写到了具体的配置过程。

2.准备好hadoop-eclipse-plugin-2.8.5.jar包

传送门:https://pan.baidu.com/s/1RSpuhfToCjO-wHYyZXDc5Q 提取码:7lhc

hadoop-eclipse-plugin-2.8.5.jar

把这个jar包放在Myeclipse的plugins目录下。(eclipse也是放在plugins下)

3.开始配置

① 首先,用cmd启动hdfs。

在这里我使用管理员模式打开cmd

start-dfs.cmd # 或者是start-dfs图片

这里,箭头所指的两个框没有java的报错才可以。

② hdfs的文件系统中要有input和output文件夹。

如果没有,建议先建好文件夹。不然在eclipse中配置完之后会报错!

类似于下面的错

图片

这个图来自于前言中提到的博主的文章。

创建文件夹的命令是

hadoop fs -mkdir [写一个路径]# 举个栗子 e.g.hadoop fs -mkdir /user/root/inputhadoop fs -mkdir /user/root/output图片

这里要注意:

  • 创建文件夹的时候要一层一层往下建。比如上图的这个例子,如果root不存在,那么直接去建root下的input或者output会报错。
  • 这里有非映射警告,但是,这个警告不影响命令执行。这是由于我安装了高版本的JDK。安装JDK1.8即可,在JDK1.8下就不会有这个警告了。

查看文件夹的命令是

hadoop fs -ls [写dfs上的路径]# 举个栗子 e.g.hadoop fs -ls /user/root图片

③配置Myeclipse或Eclipse

打开eclipse或者Myeclipse

点击window --》 preference ,会发现左侧已经有了Hadoop

点击Hadoop,然后配置hadoop的安装路径,我安装到了D:/software/hadoop-2.8.5下

图片

④打开hadoop窗口

  • 点击windows—》show view --》views

图片

然后,就跳出来一个框,最初的时候是什么都没有的

  • 点击右侧蓝色按钮,新建一个location

图片

  • 进行配置

图片

要注意4个框

  1. location name:这个地方可以随便写
  2. MapReduce:这里可以保留默认端口,也可以写配置文件mapred-site.xml中job tracker的端口号。
  3. DFS Master下的端口号要写core-site.xml 下的端口号
  4. 至于host:由于本机是配在了windows10下的主机上,hadoop环境也是win10下的,所有就写了localhost。如果是远程的,这里就好配置远程主机的信息了。

⑤查看Hadoop的文件

配置好之后看左侧是否有Hadoop的文件夹。如果没有,尝试重启eclipse
图片

这里要在Explorer下面查看hadoop的文件夹,我一开始是在包资源管理器下面,发现并没有Hadoop的文件夹,疑惑了好久。

4结束

至此,在eclipse下面配置Hadoop-2.8.5就成功啦!!!

最后,我附上石墨文档的链接,大家可以查看文档

传送门:

https://shimo.im/docs/JRPPTRP9pWCjc6Qt/ 《Myeclipse中配置Hadoop2.8.5》,可复制链接后用石墨文档 App 或小程序打开

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值