今天晚上想着将linux里面的hadoop的eclipse开发环境搭建起来。
(本机环境:win 8(64位) +vm10+64位centos(namenode+3datanode),hadoop版本为1.2.1)
首先,将linux版本的eclipse下载到linux系统里面,然后解压到/usr/local/hadoop目录下。
然后,我将之前已经编译好的hadoop插件拷贝到eclipse的plugin目录下。
接下来,配置连接的hadoop的namenode的连接了,因为我将eclipse放到了namenode里面所以开始我配置如下:
(其中Map/Reduce Master和DFS Master是根据我们配置的集群里面的xml文件来对应的),可是就是一直报下面的错误:拒绝连接
我通过我的机器可以telnet到我的这个虚拟机上面9000端口,但是这里一直报错,并且我用我真机来通过eclipse来测是没有问题的,于是我就分析有可能是这个机器在向外提供服务的时候可能没有监听到127.0.0.1这个地址,于是我试着用localhost来试试还是不行。于是我将地址修改为namenode的ip地址192.168.150.128,然后就可以了。下面是连接成功的截图:
ps:不建议将开发环境放到namenode中,因为namenode将元数据和hdfs的目录树加载到内存中,比较消耗内存,开发也是消耗内存的,将开发环境放到namenode中百害无一利。