Eclipse连接远程Hadoop集群&运行WordCount例程

本文介绍了如何使用Windows上的Eclipse连接远程Linux环境下的Hadoop集群进行开发,包括集群搭建、Eclipse环境配置、解决连接和运行WordCount程序时遇到的问题,如插件选择、文件不存在和缺失库文件等问题。
摘要由CSDN通过智能技术生成

hadoop开发主要分为两种,第一种是脱离集群开发;第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行;
http://www.aboutyun.com/thread-6950-1-1.html
https://my.oschina.net/OutOfMemory/blog/776772
本文记录的是后一种,即用本地windows下的eclipse 连接远程linux下的hadoop集群,一步到位,直接用这种方式进行hadoop的开发。

一, 搭建Hadoop2.8.0集群
Hadoop集群搭建相对较简单,网上有很多的教程, 这里就不赘述了。简单介绍一下我所搭建的Hadoop集群。
集群的搭建采用的是完全分布式,集群分布在三台服务器上。
平台:linux
Linux 内核版本:Red Hat 4.8.2-16 (三台机器都是该版本)
三台机器内网IP:10.0.192.3(master),10.0.192.4(slave1),10.0.192.5(slave2)
Hadoop版本:2.8.0

主要参考但不仅限以下几篇博文:
http://blog.csdn.net/aquester/article/details/71022862
http://blog.csdn.net/lichangzai/article/details/8206834
http://www.linuxidc.com/Linux/2015-08/121397.htm
http://www.linuxidc.com/Linux/2015-08/121349.htm
http://www.linuxidc.com/Linux/2015-08/121349p2.htm
网上的资料非常多,关键是要自己实践,并不难。
搭建成功之后,准备启动。但在启动之前,

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值