【Hadoop开发环境搭建】六、安装Eclipse、配置MapReduce环境

本章来记录一下Eclipse安装hadoop插件、配置MapReduce环境并新建一个MapReduce工程的过程

0.现有环境:

Eclipse(Windows 本地系统的)

云服务器(已经配置好了Hadoop开发环境和集群)

1.安装插件:

hadoop-eclipse-plugin-2.7.3.jar

地址:https://pan.baidu.com/s/1BaAOQkZaY4RvUPuBPVlgJg     提取码:067u

将插件复制到eclipse目录下的dropins目录

2.配置MapReduce环境:

配置好Hadoop插件后,接下来配置开发环境,连接到Hadoop集群,相关步骤如下:

(1)增加Map/Reduce功能区

                                                                        ①增加Map/Reduce功能区(1)

                                                                        ②增加Map/Reduce功能区(2)         

(2)增加Hadoop集群的连接

相关的连接配置信息有:

①Location name:命名新建的Hadoop连接,此处我设置的是HadoopCluster

②Map/Reduce(V2)Master:填写Hadoop集群的ResourceManager的IP和端口,从以前配置Hadoop集群的yarn-site.xml找

③DFS Master:填写Hadoop集群的NameNode的IP和端口,从以前配置的core-site.xml找

配置如下:

finish配置完成

(3)浏览HDFS上的目录及文件

配置完成Hadoop集群的连接信息后,就可以在Eclipse界面浏览HDFS上的目录和文件了,还可以通过鼠标来进行文件操作

需要注意的是,执行操作后,需要刷新HDFS列表,从而获得文件目录的最新状态。

3.新建MapReduce工程

本部分将在Eclipse建立MapReduce工程MemberCount,大体按照下面四个步骤进行:

(1)导入MapReduce运行依赖的jar包

首先将虚拟环境中的hadoop包导入到本地环境下,导入过程如下:

(2)创建MapReduce工程

(3)在MapReduce Project的界面创建工程

(4)查验是否创建好工程

jar包导入成功,配置安装完成 ^_^ 。

 

  • 5
    点赞
  • 68
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值