eclipse与Hadoop集群连接

[color=olive][size=medium]一、安装这个插件很简单,把 hadoop-eclipse-plugin-2.2.0 个文件copy到eclipse的eclipse\plugins
目录下,然后启动eclipse就算完成安装了。
、在左边的 project explorer 上头会有一个 DFS locations的标志
2、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中
(windows上的hadoop只是为了调用里面的jar包)
如果能看到以上两点说明安装成功了。
二、在windows的"C:\Windows\System32\drivers\etc\hosts"路径下加入以下内容:
192.168.80.101 hadoop1
192.168.80.102 hadoop2
192.168.80.103 hadoop3

三、插件安装后,配置连接参数
插件装完了,启动hadoop,然后就可以建一个hadoop连接了,
第一步,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击
第二步,在点击大象后弹出的对话框进行进行参数的添加:
location name: 这个随便填写,我填写的是:hadoop
Map/Reduce(V2) Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写hadoop1(这里可以写主机名,因为前面已经加了主机映射。)
Hort:就是jobtracker 的port,这里写的是8032
这两个参数就是yarn-site.xml里面的 yarn.resourcemanager.address 里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写hadoop1
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.defaultFS里面的ip和port
(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)
user name:这个是连接hadoop的用户名,因为我是用root用户安装的hadoop,而且没建立其他的用户,所以就用root。
下面的不用填写。然后点击finish按钮,此时,这个视图中就有多了一条记录。
第三步,重启eclipse并重新编辑刚才建立的那个连接记录,如图现在我们编辑advance parameters tab页
dfs.replication:这个这里默认是3,

dfs.data.dir 改为 /nosql/hadoop1/data
hadoop.tmp.dri 改为 /tmp/hadoop1-root
然后点击finish,DFS Locations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。
右击"hadoopàuseràroot"可以尝试建立一个"文件夹--test",然后右击刷新就能查看我们刚才建立的文件夹。[/size][/color]
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值