Windows PC上创建大数据职业技能竞赛实验环境之二--Hadoop集群搭建

最新推荐文章于 2023-08-16 10:10:24 发布

liu9ang

最新推荐文章于 2023-08-16 10:10:24 发布

阅读量1.6k

点赞数

分类专栏：大数据平台文章标签： hadoop

本文链接：https://blog.csdn.net/liu9ang/article/details/124046699

版权

本文介绍了在Windows PC上利用Docker创建Hadoop大数据平台的步骤。首先通过共享目录将Hadoop组件安装到容器中，然后详细阐述了配置Hadoop环境变量、创建工作目录、修改配置文件的过程。接着，通过基于现有容器创建新的镜像，并构建Hadoop分布式集群，包括master和两个datanode节点。最后，启动Hadoop集群并验证其运行状态。

摘要由CSDN通过智能技术生成

由于之前我们通过Docker hadoop-base容器同WSL宿主机建立了共享目录，通过把下载准备好的大数据平台组件拷贝进共享目录，在容器中既可以轻松获得大数据平台组件，进而安装到位。

[root@b234dd5197ac ~]# cd
[root@b234dd5197ac ~]# cd data

[root@b234dd5197ac data]# ls -l
total 1912500
-rw-r--r-- 1 1000 1000   1520449 Apr  7 13:53 apache-echarts-5.1.2-src.zip
-rw-r--r-- 1 1000 1000   2702368 Apr  7 13:44 apache-flume-1.7.0-src.tar.gz
-rw-r--r-- 1 1000 1000 232234292 Apr  7 17:39 apache-hive-2.3.4-bin.tar.gz
-rw-r--r-- 1 1000 1000 289890742 Apr  7 18:29 flink-1.10.2-bin-scala_2.11.tgz
-rw-r--r-- 1 1000 1000 218720521 Apr  7 17:41 hadoop-2.7.7.tar.gz
-rw-r--r-- 1 1000 1000 182196153 Apr  7 13:06 jdk-18_linux-x64_bin.tar.gz
-rw-r--r-- 1 1000 1000      1359 Aug  1  2021 journalctl3.py
-rw-r--r-- 1 1000 1000  55751827 Apr  7 15:19 kafka_2.11-2.0.0.tgz
-rwxr-xr-x 1 1000 1000  75660608 Apr  7 12:21 Miniconda3-py39_4.11.0-Linux-x86_64.sh
-rw-r--r-- 1 1000 1000 666559924 Apr  8 02:08 mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
-rw-r--r-- 1 1000 1000   1711660 Apr  7 13:47 redis-4.0.1.tar.gz
-rw-r--r-- 1 1000 1000  29114457 Apr  7 14:04 scala-2.11.12.tgz
-rw-r--r-- 1 1000 1000 201142612 Apr  7 17:37 spark-2.1.1-bin-hadoop2.7.tgz
-rw-r--r-- 1 1000 1000    291429 Aug  1  2021 systemctl3.py
-rw-r--r-- 1 1000 1000    291424 Aug  1  2021 systemctl.py
-rw-r--r-- 1 1000 1000    556619 Apr  7 14:05 vue.global.js
[root@b234dd5197ac data]#

1 安装并配置Hadoop

安装Hadoop

将下载好的hadoop-2.7.7.tar.gz解压，移动到/root/hadoop文件夹下。

[root@b234dd5197ac data]# tar zxvf hadoop-2.7.7.tar.gz

[root@b234dd5197ac data]# mv hadoop-2.7.7 /root/hadoop/hadoop-2.7.7

[root@b234dd5197ac hadoop-2.7.7]# ls /root/hadoop
hadoop-2.7.7  jdk-18

编辑hadoop环境变量。

[root@b234dd5197ac ~]# vi .bashrc

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin

export JAVA_HOME JRE_HOME CLASSPATH PATH

[root@b234dd5197ac ~]# source .bashrc
[root@b234dd5197ac ~]#

在/root目录下为hadoop创建几个工作目录。

[root@b234dd5197ac ~]# mkdir -p tmp/hadoop
[root@b234dd5197ac ~]#

[root@b234dd5197ac ~]# mkdir -p hadoop/hadoop-2.7.7/dhfs/name
[root@b234dd5197ac ~]# mkdir -p hadoop/hadoop-2.7.7/hdfs/data