Hadoop环境部署文档-外网安装

内网安装：https://blog.csdn.net/qq_39680564/article/details/98214720

一、部署环境

本机IP：192.168.152.135
操作系统：CentOS Linux release 7.6.1810 (Core)
内核：3.10.0-957.el7.x86_64
cup：4线程
硬盘：1T
内存：16G

二、所需安装包

hadoop环境镜像

• hadoop-hbase-master.tar
• hadoop-hbase-slave1.tar
• hadoop-hbase-slave2.tar
• hadoop-hbase-mysql.tar

dbeaver数据库链接工具

• dbeaver-ce-6.0.4-x86_64-setup.exe

服务器链接工具

• Xshell-6.0.0125p.exe

Hive驱动

• hive-jdbc-3.1.1-standalone.jar

三、连接服务器

windows安装Xshell-6.0.0125p.exe，连接服务器。

四、安装docker-ce

4.1 配置yum源

yum install -y wget && mkdir /etc/yum.repos.d/repo_bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ && wget -O /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo && yum clean all && yum makecache && yum install -y epel-release && wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo && yum clean all && yum makecache

4.2 安装docker-ce

yum install -y yum-utils device-mapper-persistent-data lvm2 && yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo && yum makecache fast && yum install -y docker-ce && systemctl start docker && systemctl enable docker && docker version

4.3 最终展示如图

五、配置docker网络

docker network create --subnet=172.10.0.0/16 hadoop_net && docker network ls

如图

六、加载镜像

安装rz命令

yum install -y lrzsz

将 hadoop-hbase-master.tar、hadoop-hbase-slave1.tar、hadoop-hbase-slave2.tar、hadoop-hbase-mysql.tar安装包上传至服务器/opt目录下，如图

加载镜像

[root@localhost opt]# docker load < hadoop-hbase-master.tar
[root@localhost opt]# docker load < hadoop-hbase-slave1.tar
[root@localhost opt]# docker load < hadoop-hbase-slave2.tar
[root@localhost opt]# docker load < hadoop-hbase-mysql.tar

查看镜像，如图

七、启动容器

7.1 启动master

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--add-host mysql:172.10.0.5 \
--net hadoop_net \
--ip 172.10.0.2 \
-h master \
-p 10022:22 \
#-p 2181:2181 \
#-p 2887:2888 \
#-p 3887:3888 \
-p 9870:9870 \
-p 8088:8088 \
-p 16010:16010 \
-p 10000:10000 \
-v master:/data \
--restart always \
--name master \
192.168.0.20:5000/hadoop-hbase:master

7.2 启动slave1

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--add-host mysql:172.10.0.5 \
--net hadoop_net \
--ip 172.10.0.3 \
-h slave1 \
-p 20022:22 \
#-p 2182:2181 \
#-p 2888:2888 \
#-p 3888:3888 \
-p 9864:9864 \
-p 8042:8042 \
-p 16011:16010 \
-p 16030:16030 \
-v slave1:/data \
--restart always \
--name slave1 \
192.168.0.20:5000/hadoop-hbase:slave1

7.3 启动slave2

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--add-host mysql:172.10.0.5 \
--net hadoop_net \
--ip 172.10.0.4 \
-h slave2 \
-p 30022:22 \
#-p 2183:2181 \
#-p 2889:2888 \
#-p 3889:3888 \
-p 9865:9864 \
-p 8043:8042 \
-p 16031:16030 \
-v slave2:/data \
--restart always \
--name slave2 \
192.168.0.20:5000/hadoop-hbase:slave2

7.4 启动MySQL

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--add-host slave2:172.10.0.5 \
--net hadoop_net \
--ip 172.10.0.5 \
-h mysql \
-p 40022:22 \
-p 23306:3306 \
-v hive_mysql:/var/lib/mysql \
--privileged \
--restart always \
--name mysql \
192.168.0.20:5000/hadoop-hbase:mysql \
/usr/sbin/init

八、启动服务

开三个终端分别进入master、slave1、slave2容器，默认账号root密码root
启动Zookeeper

master：/opt/zookeeper-3.4.10/bin/zkServer.sh start
slave1：/opt/zookeeper-3.4.10/bin/zkServer.sh start
slave2：/opt/zookeeper-3.4.10/bin/zkServer.sh start

启动HDFS

master：/opt/hadoop-3.0.3/sbin/start-dfs.sh

启动YARN

master：/opt/hadoop-3.0.3/sbin/start-yarn.sh

启动Hbase

master：/opt/hbase-2.1.0/bin/start-hbase.sh

启动hiveserver2

master：hiveserver2

九、访问服务

9.1 访问HDFS

ip:9870
ip:9864
ip:9865

9.2 访问YARN

ip:8088
ip:8042
ip:8043

9.3 访问Hbase

ip:16010
ip:16011
ip:16030
ip:16031

9.4 访问Hive

安装dbeaver-ce-6.0.4-x86_64-setup.exe
编辑Hive驱动

删除原有的驱动

添加hive-jdbc-3.1.1-standalone.jar驱动

输入连接信息，点击测试