在Eclipse上安装Hadoop插件

要在宿主机电脑的Eclipse上访问、操作Hadoop,必须要做的操作:
1、在Eclipse中安装对应的插件
2、在Eclipse中配置Hadoop
3、在Windows中配置Hadoop环境变量

1、在Eclipse中安装Hadoop对应版本插件
在扩展包中找到对应Hadoop插件(hadoop-eclipse-plugin-2.6.5.jar),将该文件拷贝到Eclipse安装目录下的plugins目录下即可,重启Eclipse。
2、在Eclipse中配置Hadoop
找到Hadoop安装包(hadoop-2.6.5.tar.gz),
1、解压(注意:不要放在有中文、空格的目录下)
2、在Eclipse中:Windows–>preferences,发现多了Hadoop Map/Reduce选项
3、在Hadoop Map/Reduce选项中指定Hadoop解压后的文件
在这里插入图片描述

4、调出map/reduce视图:Windows–>show view–>搜索map

在这里插入图片描述
5、新建、配置客户端连接
蓝色大象表示新建Hadoop客户端连接。
在这里插入图片描述
配置namenode节点的ip地址及端口。

在这里插入图片描述
6、调出project explorer视图,查看HDFS目录结构
Project explorer视图:Windows->show view->搜索project
在这里插入图片描述
7、log4j文件导入(可选)
在Eclipse中操作Hadoop时,如果程序报错,在Eclipse中错误显示不明显,可以借助log4j文件来显示程序的执行细节:
在扩展包找到log4j文件,将该文件拷贝到当前项目的src目录下即可。

3、在Windows中配置Hadoop环境变量
在Eclipse中通过代码向HDFS上传、下载文件的时候,可能会报错:
java.io.IOException: (null) entry in command string: null chmod 0644 D:\work
log4j输出为:
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

出现这种错误是因为:
1、没有配置Hadoop环境变量
2、Hadoop安装目录的bin目录下缺少文件

1、配置Hadoop环境变量:(同JDK一样)

在这里插入图片描述
在这里插入图片描述
将Hadoop安装目录的bin目录下的hadoop.dll文件拷贝到C:\Windows\Ststem32下

在这里插入图片描述
2、向Hadoop安装的bin目录下导入文件
在扩展包中找到hadoop-2.6.5_bin_for_win10_64.zip,将该文件里的内容全部拷贝到bin目录下

在这里插入图片描述

在bin目录下,找到winutils.exe 运行,如果报错:缺少vcrutime140.dll文件,就到扩展包找到vcruntime140dll_jb51.rar文件,打开找到自己对应系统的版本,拷贝到Hadoop的bin目录下,重新运行winutils.exe文件,会有一个黑窗口一闪而过,重新在Eclipse中运行程序即可。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值