基于Docker搭建Hadoop集群

一、准备工作

  下载VMware、Xshell、Xftp、centos7映像文件、hadoop和jdk的压缩包。

二、配置虚拟机

1.创建虚拟机

  使用VMware新建虚拟机，同时安装centos7系统，命名为master。

2.给虚拟机配置IP、网关等

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改BOOTPROTO为static,并在最后添加虚拟机的IP地址，子网掩码、网关和DNS等，如下图。

保存后退出。

重启网络服务，测试能否ping通百度，可以则配置成功，如下图。

3.关闭防火墙

查看此时防火墙的状态。

systemctl status firewalld

发现此时防火墙开启，所以将其关闭，并设置永久关闭。

systemctl stop firewalld
systemctl disable firewalld

此时再查看防火墙的状态，发现已关闭。（若要测试是否永久关闭可以重启后查看）

4.补充：找不到ifconfig命令（可用于查看IP）

进行如下操作即可。

5.使用xshell连接虚拟机

 选择“接受并保存”，然后输入用户名和密码即可。

6.修改主机名

若第一步未命名虚拟机，可通过如下命令。

vi /etc/hostname

 输入名字，保存后退出。然后重启，命名生效。

三、安装docker服务

1.自动安装docker

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

2.查看docker的版本

3.启动docker，并设置开机自启动

4.配置docker镜像加速器

vi /etc/docker/daemon.json

添加如下内容

保存后退出。

5.重启docker服务

systemctl daemon-reload
systemctl restart docker

输入docker info，最下方显示我们配置的地址时即为成功配置镜像加速器，如下图。

四、安装pipework和bridge-utils

1.新建文件夹software

mkdir software
cd software

2.安装git

yum install -y git

<