Hadoop+zookeeper+Hbase+Hive(hadoop环境搭建)

准备

hadoop-2.6.0-cdh5.14.2.tar.gz
hadoop-native-64-2.6.0.tar
hbase-1.2.0-cdh5.14.2.tar.gz
hive-1.1.0-cdh5.14.2.tar.gz
jdk-8u221-linux-x64.tar.gz
zookeeper-3.4.6.tar.gz
MySQL-server-5.6.46-1.el7.x86_64.rpm
MySQL-client-5.6.46-1.el7.x86_64.rpm

网盘链接：提取码：3a9x

linux环境搭建及jdk安装配置

这里略过，可参考本人文章：

1. VMware搭建linux虚拟机(面向小白)
2. Linux安装jdk(面向小白)

hadoop集群搭建

伪分布式hadoop

先将有关包导入software目录下
解压到/opt目录下(native解压到hadoop260/lib和hadoop260/lib/native目录下)，
使用mv命令改名(方便使用)，我的是这样的

配置环境变量

输入vi /etc/profile
新增内容

export JAVA_HOME=/opt/java8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export HBASE_HOME=/opt/hbase
export ZOOKEEPER_HOME=/opt/zookeeper
export HIVE_HOME=/opt/hive
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin

jdk+hadoop+zookeeper+hbase+hive环境变量都配置完了

保存退出
输入source /etc/profile使立即生效

修改主机名和主机列表

修改主机名：hostnamectl set-hostname hao01或vi /etc/hostname修改为hao01
修改主机列表：vi /etc/hosts新增内容192.168.74.111 hao01
查看是否修改成功：

配置免密登录

在 /opt/hadoop260/etc/hadoop目录下配置

# 生成秘钥
ssh-keygen -t rsa -P ""
# 复制秘钥到公钥
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
# 开启远程免密登录
ssh-copy-id -i /root/.ssh/id_rsa.pub -p22 root@hadoop1

修改HDFS配置文件

hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/opt/java8

core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hao01:9000</value>
</property>