Ubuntu12.04搭建Hadoop-0.20.203集群及Eclipse配置

本文详细介绍了如何在Ubuntu12.04上搭建Hadoop-0.20.203集群,包括配置hosts与hostname、安装jdk、安装hadoop、创建新用户、安装ssh并实现无密码登陆、配置hadoop、启动hadoop以及安装Eclipse插件进行MapReduce开发。过程中提到了一些常见错误及解决办法。
摘要由CSDN通过智能技术生成

我的搭建环境:     ubuntu12.04

                        hadoop-0.20.203  

                        jdk-6u30-linux-i586.bin ----> http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.1/

                       hadoop-0.20.203的 eclipse插件 --->http://download.csdn.net/detail/god793614256/5781659

1.配置hosts与hostname

Ctrl+Alt+T->进入终端

sudo gedit /etc/hosts  ->用文本编辑器打开hosts配置文件(如有多个节点,namenode要将集群内所有机器的IP和主机名写上,datanode只需写上自己和namenode的IP和主机名)

 master机的ip地址假定为192.168.1.101 slave1机的ip 假定为192.168.1.102


sudo gedit /etc/hostname ->修改主机名(注意此处一定要改,否则会在reduce阶段卡住,原因是找不到相应节点)

namenode节点修改为master,相应的datanode节点修改为slave1


2.安装jdk

cd /usr/local ->进入该文件夹下

sudo mkdir java ->创建java文件夹

cd ..

cd 桌面 ->进入桌面

sudo cp jdk-6u30-linux-i586.bin /usr/local/java ->将java软件包拷贝到刚建立的文件夹下

cd /usr/local/java

sudo chmod u+x jdk-6u30-linux-i586.bin->给jdk文件赋予权限

sudo ./jdk-6u30-linux-i586.bin-> 解压jdk压缩包进行安装

sudo gedit /etc/profile ->打开配置文件,配置java环境变量,在末尾添加(注意/etc/environment是设置整个系统的环境,而

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值