Hadoop Hbase分布式部署基础配置

Hadoop、Hbase分布式部署

一 基础配置

在这里我们默认使用一台机器作为namenode结点,另外两台机器作为datanode结点,进行分布式部署hadoop及hbase,namenode结点为master,两个datanode结点为slave1和slave2.

1 创建Hadoop用户

分别在三台机器中创建名为hadoop的用户,专门用于对hadoop的配置和运行.

//创建用户
1 sudo useradd -m hadoop -s /bin/bash
//设置密码
2 sudo passwd hadoop
//添加权限
3 sudo adduser hadoop sudo

2 安装SSH

安装SSH并实现从master结点到两个slave结点的ssh无密码登录，其中Ubuntu已经默认安装了SSH client。

sudo apt-get install openssh-server
ssh localhost

在以上步骤后，将会建立~/.ssh文件。
master结点：

cd ~/.ssh
ssh-keygen -t rsa //三次回车
cat id_rsa.pub >> authorized_keys

　　
slave结点,将秘钥用ssh传至master结点的hadoop账户主目录中 :

cd ~/.ssh
ssh-keygen -t rsa //三次回车
scp id_rsa.pub master@10.xxx.xxx.xxx:/home/hadoop/.ssh/id_rsa.pub.s1

master结点:

cat id_rsa.pub.s1 >> authorized_keys
scp authorized_keys slavex@10.xxx.xxx.176:/home/hadoop/.ssh/

即进行以上步骤后即可实现无密码登陆.

3 安装Java

下载并解压JDK到/home/hadoop/java

vim ~/.bashrc

添加

export JAVA_HOME=/home/hadoop/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存:

source ~/.bashrc

运行查看是否配置成功:

hadoop@hadoop-master:~/hbase$ java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

4 配置/etc/hosts

在etc/hosts中加入三台配置机器的地址.

10.xxx.114.xxx hadoop-master
10.xxx.113.xxx hadoop-slave1
10.xxx.119.xxx  hadoop-slave2

二 Hadoop 安装

下载Hadoop到/home/hadoop/hadoop
添加环境变量

vim ~/.bashrc

添加以下内容

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存

source ~/.bashrc