Hadoop集群、ZooKpeeper、HBase、Hive搭建（系统centos7.0）

需要用到的安装包：
jdk-8u221-linux-x64.tar.gz提取码: tmxp
MySQL-client-5.6.46-1.el7.x86_64.rpm提取码: wedy
MySQL-server-5.6.46-1.el7.x86_64.rpm提取码: 6n7k
hadoop2.6.0提取码: ebui
zookeeper3.4.6提取码: 95ni
hbase1.2.0提取码: nh27
hive1.1.05p8f

前提

注：本文采用复制虚拟机也可重新创建hadoop

• 在搭建集群之前
• 准备好一台已经搭建好的虚拟机
  hadoop安装与配置
• 添加主机列表 （添加所有机器的主机ip和主机列表名）

vi /etc/hosts

• 删除临时文件父目录tmp文件夹 /opt/soft/hadoop260/tmp

rm -rf /opt/soft/hadoop260/tmp

• 搭建Hadoop、ZooKpeeper、HBase、Hive需要将所有提供的包导入到opt中
  
• 并将所有tar包解压到/opt/soft目录下并将所有文件改名

解压文件

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft
tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/soft
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/soft
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/soft
tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/soft

改名

mv hadoop-2.6.0-cdh5.14.2 hadoop260
mv hbase-1.2.0-cdh5.14.2 hbase120
mv hive-1.1.0-cdh5.14.2 hive110
mv jdk1.8.0_221 java8
mv zookeeper-3.4.6 zookeeper

• 配置HBase、Hive需修改jdk环境变量（添加HBASE_HOME、HIVE_HOME、在PATH后面添加对应的路径）

vi /etc/profile

export JAVA_HOME=/opt/soft/java8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/soft/hadoop260
export HBASE_HOME=/opt/soft/hbase120
export HIVE_HOME=/opt/soft/hive110
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

• 使环境变量生效

source /etc/profile

Hadoop集群搭建

一、复制虚拟机

1. 搭建集群（3台）

• 注：所有步骤最好同步进行
• 克隆虚拟机（虚拟机必须是关闭状态）

修改虚拟机名称和位置

将两台适配器的mac地址重新生成

2. 启动3台虚拟机

3. 修改两台克隆的ip地址并重启网络（更改IPADDR）

vi /etc/sysconfig/network-scripts/ifcfg-ens33