Docker + Hadoop 搭建完全分布式(1)

参考源

• 中科大

• 网易源

• 阿里镜像（建议）

进入管理控制台 --> 产品与服务 --> 弹性计算 --> 容器镜像服务 --> 镜像加速器，复制自己的专属加速器地址。

添加

Linux

vi /etc/docker/daemon.json

MAC

请前往 Preferences -> Daemon 处设置

重启 docker

Linux

systemctl restart docker

镜像部署

拉取

docker pull centos:centos7

检查本地镜像

docker images

启动

docker run -itd --name 「DIY Image Name」 centos:centos7 /bin/Bash

查看启动信息

docker ps

管理容器

docker start/kill/stop/rm 「CONTAINER ID」

进入容器

docker exec -it 「CONTAINER ID」 /bin/Bash

制作开发环境镜像

=======================================================================

Centos 国内源

---

参考

• 网易开源镜像站

• 腾讯软件源

• 清华大学开源软件镜像站

• 中科大开源软件镜像

• 阿里云官方镜像站

基础工具安装

---

vim

Linux 最好用的文本编辑器

yum -y install vim

net-tools

Linux 网络管理工具

yum -y install net-tools

openssh-clients/openssh-server

ssh 客户端

yum -y install openssh-clients && yum -y install openssh-server

openssl

通过 SSL 保障，保证安全通信的软件库包

yum -y install openssl

wget

远程下载工具

yum -y install wget

开发工具安装

---

Mysql 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.1 小节

Java 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.2 小节

Python3 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.3 小节

Scala 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.4 小节

制作镜像

---

打包镜像

docker commit -a “「Image Name」” -m “「Comment」” 「CONTAINER ID」 「Image Name」:v「version」

开始生产集群

=====================================================================

统一口径

---

创建网络

docker network create --subnet=192.168.10.1/24 「Net Name」

统一 IP 和 Host

NameNode

docker run -itd --name nn \

–privileged=true -p 50070:50070 -p 8080:8080\

–hostname nn \

–net hadoop --ip 192.168.10.10 \

–add-host dn1:192.168.10.11 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

如果需要开放端口请添加-p参数内容为 容器内端口:映射至本机的端口

DataNode 1

docker run -itd --name dn1 \

–privileged=true \

–hostname dn1 \

–net hadoop --ip 192.168.10.11 \

–add-host nn:192.168.10.10 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

DataNode 2

docker run -itd --name dn2 \

–privileged=true \

–hostname dn2 \

–net hadoop --ip 192.168.10.12 \

–add-host dn1:192.168.10.11 \

–add-host nn:192.168.10.10 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

SSH 配置

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 6.2.2 小节

Hadoop 完全分布式部署

=============================================================================

准备

---

下载地址

wget https://dlcdn.apache.org/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

准备目录

mkdir /usr/hadoop \

&& mkdir /usr/hadoop/tmp \

&& mkdir /usr/hadoop/hdfs/name \

&& mkdir /usr/hadoop/hdfs/data

环境变量请解压后自行配置

变量名请遵守：HADOOP_HOME

修改配置

---

地址：$HADOOP_HOME/etc/hadoop/

core-site.xml

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
PPO等大厂，18年进入阿里一直到现在。**

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

[外链图片转存中…(img-aoX7I0sX-1715344186917)]

[外链图片转存中…(img-KfqW7sdK-1715344186917)]

[外链图片转存中…(img-WVOCagQZ-1715344186918)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！