Docker配置Hadoop环境搭建

---

---

1.Docker配置Hadoop环境搭建

​ Hadoop集群环境配置起来相当繁琐，并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置。因此在一台机器上配置Hadoop分布式集群时通常采用虚拟机来模拟多台设备，但虚拟机较为占用系统资源，开多个虚拟机(模拟Hadoop集群通常使用3个，一个master，两个slave)对内存要求比较高。

lk-linux:192.168.86.157

lk-linux2:192.168.86.158

lk-linux3:192.168.86.159

1.Docker的安装与使用

​ 因为Hadoop需要配置相当复杂，所以为了之后的方便使用，以免出现各种环境混杂的问题，采用Docker来搭建Hadoop环境。

1.1Docker的安装

1)由于服务器不能上网，所以需要进行离线安装。首先到Docker官网找到相应的二进制的安装包，或者到网站（https://download.docker.com/linux/static/stable/x86_64/）下载一个安装包。我这里选择的安装包为docker-19.03.9.tgz 在服务器的/home目录下通过 mkdir docker 命令创建一个新的文件夹用来存放docker的安装，将其安装包复制到对应的服务器上，至于怎么复制文件到服务器上，如何进行解压，网上都有教程，请自行百度。然后对安装包进行解压 指令：**tar xzvf docker-19.03.9.tgz** 便可以顺利解压。

**2)**进入docker目录复制所有文件到/usr/bin目录下，目的/user/bin是环境变量目录，在路径下都可以运行docker命令 复制文件的指令： cp -r /home/docker/docker/* /usr/bin/

**3)**在vim /etc/systemd/system/docker.service路径下创建新的文件docker.service,并添加下列代码：

[Unit]

Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target

然后 :wq 保存退出。

**4)**复制执行权限

chmod +x /etc/systemd/system/docker.service

systemctl daemon-reload

#开机启动

systemctl enable docker.service //设置开机自启

#启动docker

systemctl start docker

#systemctl status docker 查看Docker状态

#docker -v Docker版本

#服务器没有网络，下列步骤无法进行，卒，放弃。

2.直接进行Hadoop安装

1.Hadoop的安装包的下载以及其他需要安装包下载

• Hadoop安装包的下载 到官网 hadoop-2.9.2.tar.gz，下载地址：https://www.apache.org/dist/hadoop/common/

• JDK的下载jdk-8u271-linux-x64.tar.gz，hadoop只支持jdk7和jdk8，不支持jdk11

• 环境：centos-7.2

2.安装JDK（三台机器）

在/usr目录下新建一个/java文件夹 : mkdir java 然后把安装包复制到文件夹，然后解压 **tar -zxvf jdk-8u271-linux-x64.tar.gz ** 然后配置环境变量

vi /etc/profile

将如下配置添加至文件中，然后保存退出。

#java

export JAVA_HOME=/usr/java/jdk1.8.0_271
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

然后验证: java -version

[root@lk-linux java]# java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
[root@lk-linux java]#

3.Hadoop安装与配置

解压Hadoop压缩包到/home/hadoop/ tar -zxvf hadoop-2.9.2.tar.gz

mv hadoop-2.9.2.tar.gz hadoop 重命名

配置Hadoop的JDK路径 打开/home/hadoop/hadoop/etc/hadoop/hadoop.-env.sh

修改export JAVA_HOME=/usr/java/jdk1.8.0_271

3.1配置核心组件文件(只在lk-linux做)

打开同目录下的core-site.xml文件，在需要在和之间加入的代码：

<property>
          <name>fs.defaultFS</name>
          <value>hdfs://lk-linux:9000</value>
</property>
<property>
          <name>hadoop.tmp.dir</name>
          <value>file:/home/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
</property>

上面的ip lk-linux为你当前的机器

3.2配置文件系统hdfs-site.xml

Hadoop的文件系统配置文件是hdfs-site.xml，位于/home/hadoop/hadoop/etc/hadoop/子目录下，用vi编辑hdfs-site.xml该文件，需要将以下代码放在文件的和之间

<property>
          <name>dfs.nam