hadoop 大数据平台搭建（zookeeper、hadoop、hive和HBASE）

1 基本环境与zookeeper 安装

本次集群搭建共有三个节点，包括一个主节点 master，和两个从节点 slave1和 slave2。具体操作如下：

1.1 修改主机名（三台机器均执行）

下载相关工具

yum install -y net-tools

1.2 配置host 文件（三台机器）

1.3 关闭防火墙

关闭防火墙：systemctl stop firewalld
查看状态：systemctl status firewalld

1.4 NTP时间同步

yum install –y ntp
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

重启 ntp 服务。

[root@master ~]# systemctl restart ntpd
ntpdate master

1.5 配置ssh 免密

（1） 每个结点分别产生公私密钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa（三台机器）

秘钥产生目录在用户主目录下的.ssh 目录中，进入相应目录查看：

cd .ssh/

（ 2 ）将公钥文件复制成authorized_keys 文件：（仅 master）

cat id_dsa.pub >> authorized_keys

（3）分发authorized_keys至其他节点

scp authorized_keys slave1:/root/.ssh/
scp authorized_keys slave2:/root/.ssh/

1.6 安装JDK（三台机器）

（1）首先建立工作路径/usr/java。

mkdir -p /usr/java
tar -zxvf /opt/jdk-8u171-linux-x64.tar.gz -C /usr/java/

（2）修改环境变量

修改环境变量：vi /etc/profile
添加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
生效环境变量：source /etc/profile
查看 java 版本：java -version
在 master 中将 JDK 复制到 slave中（要保证 slave中已有相应目录）。使用SCP

2. 安装zookeeper

（1）修改主机名称到 IP 地址映射配置。

vi /etc/hosts
192.168.15.104 master master.root
192.168.15.127 slave1 slave1.root
192.168.15.124 slave2 slave2.root

（2）修改 ZooKeeper 配置文件。在其中 master 机器上，用 tar -zxvf 命令解压缩 zookeeper-3.4.10.tar.gz。

创建工作目录：mkdir -p /usr/zookeeper
解压：tar -zxvf /opt/zookeeper-3.4.10.tar.gz -C /usr/zookeeper/

（3）配置文件 conf/zoo.cfg

用 cd 命令进入 zookeeper-3.4.10/conf 目录下，将 zoo_sample.cfg 文件拷贝一份，命名为为“zoo.cfg”。
cp zoo_sample.cfg zoo.cfg
Zoo.cfg 文件配置
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

（4）在 zookeeper 的目录中，创建 zkdata 和 zkdatalog 两个文件夹。zkdatalog 文件夹，是为了指定 zookeeper 产生日志指定相应的路径。

mkdir zkdata
mkdir zkdatalog

（5）进入 zkdata 文件夹，创建文件 myid。

[root@master ~]# cat /usr/zookeeper/zookeeper-3.4.10/zkdata/myid 
1

（6）远程复制分发安装文件

scp -r /usr/zookeeper slave1:/usr/
scp -r /usr/zookeeper slave2:/usr/

（7）设置 myid。在我们配置的 dataDir 指定的目录下面，创建一个 myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg 文件中配置server.X 中 X 为什么数字，则 myid 文件中就输入这个数字。slave1 中为 2；slave2 中为 3。

（8）配置环境变量并启动 ZooKeeper。在每台机器上操作如下：

vi /etc/profile
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin
生效：source /etc/profile

（9）启动 ZooKeeper 集群

在 ZooKeeper 集群的每个结点上，执行启动 ZooKeeper 服务的脚本，如下所示：
bin/zkServer.sh start
bin/zkServer.sh status

3. 安装hadoop

（1）创建对应工作目录/usr/hadoop：

解压 hadoop 到相应目录：
Vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
使用以下命令使 profile 生效：
source /etc/profile

（2）编辑/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

输入内容：export JAVA_HOME=/usr/java/jdk1.8.0_171

（3）编辑/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000