Centos6.5安装Hadoop配置集群环境

一、安装JDK

1.下载JDK1.7,下载地址:

http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

 

2.将下载好的JDK rpm包和Hadoop安装包上传至Centos,使用工具:

3.在/usr目录下创建java文件夹

4.安装JDK1.7

5.检查是否安装成功

6.配置JAVA_HOME和JRE_HOME

7.使配置的JAVA_HOME和JRE_HOME生效,并查看$PATH

二、安装Hadoop

1.修改主机名

2.在/etc/hosts下配置主机,增加IP地址解析

namenode：192.168.41.139(根)

datanode：192.168.41.138(节点)

3. 配置namenode无密码访问datanode

在namenode机器上执行ssh-keygen -t rsa, 到所有选项回车默认值即可

4.关闭防火墙

5.导入公钥到本机认证文件
 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

6. 导入公钥到其他datanode节点认证文件

注:第一次需要输入密码

7.测试连接到集群节点

8.解压hadoop-2.5.2.tar.gz

tar -zxvf hadoop-2.5.2.tar.gz

9. 修改hadoop配置文件

(1)hadoop-env.sh

(2)yarn-env.sh

(3) slaves

(4) core-site.xml

(5)hdfs-site.xml

(6)mapred-site.xml,缺少mapred-site.xml文件,copymapred-site.xml.template

(7)yarn-site.xml

10.修改/etc/profile,保存使马上生效

11.hadoop namenode 的初始化, 需要第一次的时候初始化,之后就不需要了

12.hadoop datanode安装JDK1.7

13.hadoop datanode修改/etc/hosts

注:不要把名称写在ip地址前面,这样启动会有问题

14.hadoop namenode copy Hadoop安装文件到hadoopdatanode

15.Hadoop namenode启动

16.测试Hadoop namenode

访问:

http://192.168.41.139:50070

http://192.168.41.139:8088

http://192.168.41.139:19888

三、安装遇到问题

1.在Hadoop datanode里ssh连接Hadoopnamenode报错如下：

解决方案:

在Hadoop namenode服务器里打开/etc/ssh/sshd_config

将PasswordAuthentication no中的“no”改为yes

2.Hadoop namenode启动服务,在Hadoop datanode里使用jps命令报错如下:

解决方案:

Hadoop datanode的PATH:

Hadoop namenode的PATH:

原来是从Hadoop namenode copy Hadoop的安装文件过来时,Hadoopdatanode安装JDK之后忘记配置环境,造成jps命令无法使用

执行生效:

配置之后的环境:

测试Hadoop datanode:

四、卸载

1.停止服务

2.查找Hadoop相关文件,然后删除

rm -rf /xxx/xx 删除文件