hadoop开发主要分为两种,第一种是脱离集群开发;第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行;
http://www.aboutyun.com/thread-6950-1-1.html
https://my.oschina.net/OutOfMemory/blog/776772
本文记录的是后一种,即用本地windows下的eclipse 连接远程linux下的hadoop集群,一步到位,直接用这种方式进行hadoop的开发。
一, 搭建Hadoop2.8.0集群
Hadoop集群搭建相对较简单,网上有很多的教程, 这里就不赘述了。简单介绍一下我所搭建的Hadoop集群。
集群的搭建采用的是完全分布式,集群分布在三台服务器上。
平台:linux
Linux 内核版本:Red Hat 4.8.2-16 (三台机器都是该版本)
三台机器内网IP:10.0.192.3(master),10.0.192.4(slave1),10.0.192.5(slave2)
Hadoop版本:2.8.0
主要参考但不仅限以下几篇博文:
http://blog.csdn.net/aquester/article/details/71022862
http://blog.csdn.net/lichangzai/article/details/8206834
http://www.linuxidc.com/Linux/2015-08/121397.htm
http://www.linuxidc.com/Linux/2015-08/121349.htm
http://www.linuxidc.com/Linux/2015-08/121349p2.htm
网上的资料非常多,关键是要自己实践,并不难。
搭建成功之后,准备启动。但在启动之前,