搭建大数据运行环境之一

前言

一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin

服务器资源

本地Mac有3个虚拟机

server1  192.168.84.128
server2  192.168.84.131
server3  192.168.84.132

yum install wget
yum install unzip

安装docker

mkdir /opt/bigdata
cd /opt/bigdata
# 上传docker-hadoop-test.zip
rz
unzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test

chmod 777 docker.install.sh 
chmod 777 compose.install 

bash docker.install.sh 
bash compose.install
systemctl start docker
docker -v

安装zk

依次在3个服务器上做如下操作

chmod 777 zookeeper.sh
# 修改下服务器ip
vi zookeeper/instances.yml 

./zookeeper.sh 

确认是否启动成功

安装hadoop集群

思路

• 免密登陆

./hadoop/ssh下面默认有一份私钥、公钥
这里建议删除默认秘钥改为自己的私钥  
秘钥生成方法参考hadoop-key.sh脚本 

• 依赖资源包下载

链接:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw  
密码:iu5w

下载之后根据启动脚本修改文件名后放入/hadoop/tar/即可

• 修改集群信息

修改hadoop/instances.yml，配置集群信息，用于生成hosts文件

编译镜像并上传阿里镜像库

分别在服务器上启动该docker镜像

cd /opt/bigdata/docker-hadoop-test
./hadoop.sh

截止目前搭建好了zk集群环境 将每一个大数据组件安装在了一个docker中

后记

下篇文章咱再介绍下 
如何启动每一个组件及组件之间数据如何流转的

源码

https://gitee.com/pingfanrenbiji/docker-hadoop-test