大数据环境1

2022大数据环境搭建

一、基础环境

1.1 进入三个容器：docker exec -it master /bin/bash

​ docker exec -it slave1 /bin/bash

​ docker exec -it slave2 /bin/bash

1.2修改主机名：hostnamectl set-hostname master

​ hostnamectl set-hostname slave1（在slave1中）

​ hostnamectl set-hostname slave2（在slave2中）

1.3 配置hosts文件：vim /etc/hosts（三台都要做）

1.4如果有防火墙三台都要关闭：systemctl stop firewalld

1.5时区同步：tzselect（三台机子）

下载ntp（三台机子）：yum -y install ntp

master作为ntp服务器，修改ntp配置文件。（master上执行，注意空格问题）:

vim /etc/ntp.conf

重启ntp服务。(master上执行):

/bin/systemctl restart ntpd.service

其他机器进行同步（在slave1，slave2中执行 并一定要关防火墙）:

ntpdate master

1.6、配置免密（ssh）

在master上执行如下命令生成公私密钥（master）：

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

然后将master公钥id_dsa复制到slave1进行公钥认证（master）：

ssh-copy-id -i /root/.ssh/id_dsa.pub slave1

ssh-copy-id -i /root/.ssh/id_dsa.pub slave2

验证是否免密成功（master）：

ssh slave1

ssh slave2

二、安装JDK

根据要求设置路径，这里自己装在/usr/java下

1、创建工作路径并进入：

mkdir -p /usr/java

cd /usr/java

2、解压jdk包到java目录：

tar -zxvf /usr/bigdata/jdk-8u162-linux-x64.tar.gz -C /usr/java/

3、配置环境变量：

配置java环境：vim /etc/profile

生效java环境：source /etc/profile

查看是否配置成功：java -version

4、将java和环境传给slave1和slave2：

scp -r /usr/java/ root@slave1:/usr

scp -r /usr/java/ root@slave2:/usr

scp -r /etc/profile root@slave1:/etc/

scp -r /etc/profile root@slave2:/etc/

生效slave1和slave2的环境变量

三、安装zookeeper

1、创建工作路径并进入：

mkdir -p /usr/zookeeper

cd /usr/zookeeper

2、解压zookeeper包到zookeeper目录：

tar -zxvf /usr/bigdata/zookeeper-3.4.6.tar.gz -C /usr/zookeeper/

3、创建zkdata和zkdatalog文件

在zookeeper-3.4.6中创建：mkdir zkdata

​ mkdir zkdatalog

4、在zkdata中创建myid（master：1 slave1：2 slave2：3）

vim myid

5、配置zoo.cfg文件

6、配置环境变量：

vim /etc/profile

生效java环境：source /etc/profile

7、将zookeeper和环境传给slave1和slave2：

scp -r /usr/zookeeper/ root@slave1:/usr

scp -r /usr/zookeeper/ root@slave2:/usr

scp -r /etc/profile root@slave1:/etc/

scp -r /etc/profile root@slave2:/etc/

生效slave1和slave2的环境变量

8、修改slave1和slave2中的myid

9.启动ZooKeeper集群（三台机器都执行）

开启服务：/usr/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start

查看状态：/usr/zookeeper/zookeeper-3.4.6/bin/zkServer.sh status