Hadoop2.2.0 + HBase0.96.1.1部署实践

Hadoop2.2.0部署文档

一、准备工作：

1.机器准备：

IPuser/passwdhostnamerole

*172.16.16.31（萧何） lscm/izenexxxx    B5M-0169 nn/snn/rm

*172.16.16.29（大哥） lscm/izenexxxx    oscarshan-OptiPlex-990 dn/nm

*172.16.16.30（张清） lscm/izenexxxx    Caliph dn/nm

*172.16.16.47（慕容） lscm/izenexxxx  B5M-0213 dn/nm

nn:NameNode;

snn:SecondaryNameNode;

rm:ResourceManager;

dn:DataNode;

nm:NodeManager;

Hostname可以在/etc/hostname文件中修改；我这是借用别人的工作电脑，怕影响别人，就没改；真正部署的时候为了至少“看着舒服”，可以改成自己喜欢的名字如Cloud1，Cloud2，Cloud3之类；

创建用户：根据现有情况，172.16.16.31和172.16.16.47上已经有lscm帐号并且密码相同并且拥有管理员权限，使用之；对172.16.16.29和172.16.16.30，新建lscm帐号并设置相同密码并分配管理员权限；PS：useradd命令创建的用户没有home目录，不要使用；要使用adduser命令来创建用户；

分配权限：编辑/etc/sudoers文件，命令sudovi /etc/sudoers，在文件中增加lscmALL=(ALL:ALL) ALL一行；

修改绑定：编辑/etc/hosts文件，增加下面4行：

172.16.16.31B5M-0169

172.16.16.29oscarshan-OptiPlex-990

172.16.16.30Caliph

172.16.16.47B5M-0213

打通免登陆：设置4台机器之间相互免登，方法如下：

1).安装ssh工具：命令sudoapt-get install openssh-server，sudoapt-get install ssh

2).依次执行如下两条命令，

ssh-keygen-t dsa -P '' -f ~/.ssh/id_dsa

cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3).将4台机器上~/.ssh/authorized_keys文件内容合并成一份，再分别放在原文件中；

4).修改/etc/ssh/ssh_config文件，末尾加上两行：

StrictHostKeyCheckingno

UserKnownHostsFile/dev/null

5).这样，4台机器便可以互相免登陆了

2.JDK的安装：略；

二、安装和配置Hadoop2.2.0：

1.下载：

访问http://hadoop.apache.org/—>左边的Releases—>右边的Download—>Downloada release now!—>“suggestedmirror”—>stable/—>hadoop-2.2.0.tar.gz，下载安装包；源码也在同一路径下，可以一同下载下来学习研究；

2.安装：

将下载的hadoop-2.2.0.tar.gz解压在~/hadoop220下，于是HADOOP_HOME就像这样：~/hadoop220/hadoop-2.2.0

新建三个目录，用来存放将来的数据：

~/hadoop220/dfs/name

~/hadoop220/dfs/data

~/hadoop220/temp

3.配置：

总共涉及到7个配置文件要改：

~/hadoop220/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop220/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop220/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop220/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop220/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop220/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop220/hadoop-2.2.0/etc/hadoop/yarn-site.xml

PS：有些.xml文件不存在，可以从.template文件复制得来；

1).配置文件hadoop-env.sh

修改JAVA_HOME值（exportJAVA_HOME=exportJAVA_HOME=/home/lscm/installedprogrames/jdk1630/jdk1.6.0_30）

2).配置文件yarn-env.sh