Hadoop安装及配置

Hadoop安装及配置

（文档修订：以下提到hadoop版本请使用 hadoop1.1.1,  本人建议大家使用最新的版本，近期我使用的版本是hadoop1.1.4）

一、本机安装VM8.0 再安装centOS 5.8：

在3台测试机器上安装  VM8.0  再安装centOS 5.8 

安装windows  本机操作软件SSH Secure Shell Clien 

二、安装完系统，安装VM-tools

问题：CentOS 安装不了vmtools   (.iso文件)

解决：tar –zxvf  解压后  尝试安装

三、安装hadoop前的准备

下载并解压Hadoop-0.21.0安装包  解压hadoop

安装前 必须安装一下软件

安装ssh(openssh)  、rsync、openssh-server、openssl

 

问题：以上软件安装不了 缺少命令符

解决方案：安装gcc   所需命令：yum install gcc

 

问题：安装gcc 缺少必要的包

解决方案：下载zlib和zlib-server并安装

  

四、安装jdk

问题:CentOS本身自带jdk1.5 不符合开发要求，卸载重新安装。

   卸载：rpm –qa|grep jdk

rpm–qa|grep gcj:

[root@localhost jdk]# rpm -qa|grep gcj  

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  

libgcj-4.1.2-48.el5  

 

[root@localhost jdk]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  

解决方案：安装jdk1.6.0_38 安装在、usr/java/ jdk1.6.0_38

五、伪分布式配置hadoop

开始hadoop配置

修改hadoop-env.sh

 

修改core-site.xml文件

修改hdfs-site.xml文件

修改mapred-site.xml

 

六、ssh配置  无密码登录

ssh配置：生成密钥对

配置ssh,生成密钥，使得ssh可以无密码连接localhost

cat id_dsa.pub >>~/.ssh/authorized_keys

解决问题参照：http://blog.csdn.net/pyhsky/article/details/5310375

向各节点复制hadoop

scp -r/usr/local/hadoop/hadoop-0.21.0 hadoop.slave: /usr/local/hadoop

scp -r/usr/local/hadoop/hadoop-0.21.0 hadoop.slavea: /usr/local/hadoop

格式化文件系统：

启动hadoop进程：

./start-all.sh

 

问题：scp:command not found找不到scp命令    

解决问题参照：http://wubolu.iteye.com/blog/1161693

解决方案：yum install openssh-clients

问题：ssh不能无密码登录本机

解决方案：卸载本机自带的openssh,重新安装。

 

七、完善hadoop配置 转换成完全分布式系统

修改core-site.xml、hdfs-site.xml以及mapred-site.xml（注意修改localhost）

说明：将上述三个配置的localhost改为主机名字或ip地址

本机名字（master）：hadoop.main  

节点（slave）:hadoop.slave   hadoop.slavea

配置hosts文件

所有的节点都修改/etc/hosts，使彼此之间都能把主机名解析为ip

修改masters和slaves文件

修改hadoop.env.sh  检查jdk是否改变

格式化完全分布文件系统

 

启动守护进程

检测进程启动情况