基于centos7搭建hadoop+zookeeper+hbase大数据集群

最近在给公司项目 搭集群,顺手整理了一个文档,特别详细,相信新手看了也能一次搭好hadoop集群

1. 环境准备

jdk1.8.0_121  hadoop-2.6.5  zookeeper-3.4.10  hbase-1.2.4

 

三台集群主机安装centos7系统

 

ip分别为

192.168.10.208(master)

192.168.10.207 (slave1)

192.168.10.206 (slave2)

 

2. 修改hosts文件

映射主机名和ip地址

 

# vim /etc/hosts

--加入如下内容

192.168.10.208 master

192.168.10.207 slave1

192.168.10.206 slave2

 

每台主机都需要修改

3. 安装jdk

--首先检查是否系统是否已集成自带openjdk

# java -version

如果显示jdk版本先卸载openjdk

 

# rpm -qa |grep java(查找安装位置)

--显示如下内容

java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64

java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64

 

--卸载

# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64

# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64

 

--安装jdk

 

--解压jdk安装包

# mkdir /usr/java

# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/java

 

--拷贝jdk至slave1和slave2

# scp -r /usr/java slave1:/usr

# scp -r /usr/java slave2:/usr

 

-- 设置jdk环境变量

# vim /etc/environment  

JAVA_HOME=/usr/java/jdk1.8.0_121 

JRE_HOME=/usr/java/jdk1.8.0_121/jre

 

# vim/etc/profile

--加入如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_121 

export JRE_HOME=${JAVA_HOME}/jre 

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin

 

# source /etc/profile 使改动生效

 

4. 设置集群间无密码访问

slave1

--使用rsa加密

# ssh-keygen -t rsa

--