hadoop环境搭建预备

lz也是刚开始学习hadoop，整理了一下环境的搭建，这一篇先将预备环境搭建出来。

虚拟机配置

首先搞出来五台虚机，lz使用的是centos6.9版本64位的。

配置一下五台虚机的hosts,方便以后操作

vim /etc/hosts
//增加下面五行配置。ip自行处理
192.168.146.132 node1
192.168.146.133 node2
192.168.146.134 node3
192.168.146.135 node4
192.168.146.136 node5
//关闭防火墙
service iptables stop 
chkconfig  iptables off 

jdk环境配置

hadoop是java语言开发的，一定要具备jdk的环境。

下载jdk8：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

//移除系统自带jdk
rpm -qa | grep java
yum -y remove java*

cd /data/soft/new/jdk
tar -zxvf jdk-8u11-linux-x64.tar.gz  //解压
vim /etc/profile        //配置环境变量
//在编辑状态，加在最后
export JAVA_HOME=/data/soft/new/jdk/jdk1.8.0_11

export PATH=$PATH:$JAVA_HOME/bin
:wq
source /etc/profile      //使环境变量生效
java -version
//检查jdk环境是否配置好，打印如下
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

//将文件发送到其他四台虚机
scp -r /data/soft/new/jdk/jdk1.8.0_11 root@node1:/data/soft/new/jdk

zookeeper环境配置

下载zookeeper：http://zookeeper.apache.org/releases.html#download

lz使用的是3.4.12版本，zk只在node3\4\5三个节点配置了

cd /data/soft/new/zk
//解压
tar -zxvf zookeeper-3.4.12.tar.gz
cd zookeeper-3.4.12/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
//修改zk数据存放地址
dataDir=/data/soft/new/zkdata
//配置集群服务 server.*  *为服务的Id，后面需要配置myid文件
server.1=node3:2888:3888
server.2=node4:2888:3888
server.3=node5:2888:3888
:wq
//创建存放信息位置以及myid文件，每个虚机配置不一样，需要修改下
mkdir /data/soft/new/zkdata
cd /data/soft/new/zkdata
vim myid
1
:wq
//配置环境变量
vim /etc/profile
export ZK_HOME=/data/soft/new/zk/zookeeper-3.4.12
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin
:wq
source /etc/profile
//复制到另外两个虚机 4 、5
scp -r /data/soft/new/zk/zookeeper-3.4.12 root@node4:/data/soft/new/zk/

全部配置完后启动(三台机器相同操作)：

zkServer.sh start

zkServer.sh status

正常情况下为一个leader 两个follower

创建hadoop用户

创建完hadoop用户后以后都使用hadoop用户进行操作，采用免密登录，先在node1节点操作

useradd hadoop
passwd 123456
su hadoop
cd ~
//创建私钥和公钥
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
//然后在其他四个节点同样生成公钥私钥，将公钥内容都加到node1节点的authorized_keys中，在将该文件复制到其他节点
scp ~/.ssh/authorized_keys hadoop@node2:~/.ssh/authorized_keys

之后在 ssh node2 就不需要密码了

统一时间

这一步lz没有操作，因为创建虚拟机的时候都采用的本地时间

//以node1节点为例
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
vim /etc/sysconfig/clock
#添加一下内容
ZONE="Asia/Shanghai"
UTC=false
ARC=false

至此，hadoop所需环境已经配置完毕，下节开始hadoop环境搭建~

参考：《Hadoop大数据挖掘从入门到进阶实战》