Hadoop_HBase.x64 位分布式安装指南

Hadoop2.x64 位分布式安装指南
作者：lee
Hadoop2.X64 位伪分布式安装指南（ Ubuntu）
1 环境说明

集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：

Hostname	IP	User	Password
master	192.168.59.133	hadoop	123456
slave1	192.168.59.134	hadoop	123456
slave2	192.168.59.135	hadoop	123456

三个节点均使用ubuntu系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同Hadoop、hbase、zookeeper目录结构。

注：可以通过编辑/etc/hostname文件来修改 hostname 。

hbase对应关系，这里我们选择 Hadoop-2.7.2 和 HBase-1.2.2

 

2 系统需求
以下说明 Hadoop 2.2.0 安装的基本需求。
2.1 系统硬件
Intel x86_64 服务器。
2.2 系统软件
建议采用 Ubuntu 14.04 LTS Server x64 版本或者其他长期支持版本。
另外，如果是虚拟机环境，使用 32 位版本的 Ubuntu 即可。
2.2.1 系统环境
建议在安装前，将系统升级到最新：
$ sudo apt-get update
$ sudo apt-get upgrade
3 安装与配置
Hadoop 2.2.0 的安装开始之前，需要安装一些必要的组件。
3.1 准备工作
3.1.1 权限
建议将/opt 修改为用户的：
$ sudo chown lee:lee /opt
下面设置 lee 运行 root 权限时免密码输入（可选步骤）
visudo 命令会打开 sudo 设置文件/etc/sudoers，找到下面这一行。
root ALL=(ALL:ALL) ALL
在这一行的下面，再添加一行。
root ALL=(ALL:ALL) ALL
lee ALL=(ALL:ALL) NOPASSWD:ALL
修改 vim 默认设置
vi ~/.vimrc
set nocompatible
set backspace=2
3.1.2 配置静态 ip 地址
$sudo vi /etc/network/interfaces
原有内容只有如下两行：
auto lo
iface lo inet loopback
向末尾追加以下内容：
auto eth0
iface eth0 inet static
address 192.168.0.3
netmask 255.255.255.0
gateway 192.168.0.1
dns-nameservers 180.76.76.76
设定第二个 IP 地址(虚拟 IP 地址)
编辑文件/etc/network/interfaces：
sudo vi /etc/network/interfaces
在该文件中添加如下的行：
auto eth0:1
iface eth0:1 inet static
address x.x.x.x
netmask x.x.x.x
gateway x.x.x.x
重启 network 使修改生效
$sudo /etc/init.d/networking restart
这里有点有问题，就是重启 ubuntu 后，发现又不能上网了，问题出在
/etc/resolv.conf。重启后，此文件配置的 dns 又被自动修改为默认值。
所以需要永久性修改 DNS。方法如下：
sudo vi /etc/resolvconf/resolv.conf.d/base
添加：
nameserver 180.76.76.76
nameserver 114.114.114.114
修改好保存，然后执行
resolvconf -u

添加Hosts映射关系

分别在三个节点上添加hosts映射关系：

$ vim /etc/hosts

添加的内容如下：

192.168.0.3 master

192.168.0.4 slave1

192.168.0.5 slave2

3.1.3 Java
建议采用 Oracle Java JDK6 以上版本。
$ chmod 755 jdk-7u45-linux-x64.bin
./jdk-7u45-linux-x64.bin
mv jdk1.7.0_45 /opt
则 JAVA_HOME 地址可以如下配置，在/etc/profile 中修改：
$ sudo vi /etc/profile
在末尾加入：
export JAVA_HOME=/opt/jdk1.8.0_91

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
注：如果是 32 位的 Linux，请安装 jdk-7u45-linux-i586 的 32 位 Java。
3.1.4 Hadoop 2.2.0
从 Apache 官方可以下载到 Hadoop 2.2.0 的发布代码，或者在 CNNIC 下载：
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-
2.2.0.tar.gz
CNNIC 相对速度较快。附件中也提供该文件的下载。
注：由于官方本的 lib/native 是 32 位，需要编译生成 64 位版本。所以建议直接从
本地其他服务器下载 hadoop-2.2.0-x64.tar.gz
3.1.5 Hadoop 路径配置
建议将 Hadoop 安装在/opt 下，所以