Docker + Hadoop 搭建完全分布式，面试字节跳动的前端工程师该怎么准备

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Web前端全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注前端）

正文

开发工具安装

---

Mysql 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.1 小节

Java 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.2 小节

Python3 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.3 小节

Scala 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.4 小节

制作镜像

---

打包镜像

docker commit -a “「Image Name」” -m “「Comment」” 「CONTAINER ID」 「Image Name」:v「version」

开始生产集群

=====================================================================

统一口径

---

创建网络

docker network create --subnet=192.168.10.1/24 「Net Name」

统一 IP 和 Host

NameNode

docker run -itd --name nn \

–privileged=true -p 50070:50070 -p 8080:8080\

–hostname nn \

–net hadoop --ip 192.168.10.10 \

–add-host dn1:192.168.10.11 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

如果需要开放端口请添加-p参数内容为 容器内端口:映射至本机的端口

DataNode 1

docker run -itd --name dn1 \

–privileged=true \

–hostname dn1 \

–net hadoop --ip 192.168.10.11 \

–add-host nn:192.168.10.10 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

DataNode 2

docker run -itd --name dn2 \

–privileged=true \

–hostname dn2 \

–net hadoop --ip 192.168.10.12 \

–add-host dn1:192.168.10.11 \

–add-host nn:192.168.10.10 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

SSH 配置

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 6.2.2 小节

Hadoop 完全分布式部署

=============================================================================

准备

---

下载地址

wget https://dlcdn.apache.org/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

准备目录

mkdir /usr/hadoop \

&& mkdir /usr/hadoop/tmp \

&& mkdir /usr/hadoop/hdfs/name \

&& mkdir /usr/hadoop/hdfs/data

环境变量请解压后自行配置

变量名请遵守：HADOOP_HOME

修改配置

---

地址：$HADOOP_HOME/etc/hadoop/

core-site.xml

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

fs.defaultFS

hdfs://nn:9000

hdfs-site.xml

dfs.replication

3

dfs.namenode.name.dir

/usr/hadoop/hdfs/name

dfs.datanode.data.dir

/usr/hadoop/hdfs/data

mapred-site.xml

复制 mapred-site.xml.template 为 mapred-site.xml

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

mapred.job.tracker

http://nn:9001

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

nn

masters

地址： $HADOOP_HOME/etc/hadoop/masters

内容：

nn

slaves

地址： $HADOOP_HOME/etc/hadoop/slaves

修改内容:

「datanode HOST 1」

「datanode HOST 2」

…

「datanode HOST n」

Hadoop-env.sh

前往该文件中添加 JAVA_HOME 避免出现识别不到 JDK 的情况

同步

---

使用 scp 命令同步所有变动文件

参考:

scp -r /usr/dt dn1:/usr/

检验

---

后话

---

对于面试，说几句个人观点。

面试，说到底是一种考试。正如我们一直批判应试教育脱离教育的本质，为了面试学习技术也脱离了技术的初心。但考试对于人才选拔的有效性是毋庸置疑的，几千年来一直如此。除非你有实力向公司证明你足够优秀，否则，还是得乖乖准备面试。这也并不妨碍你在通过面试之后按自己的方式学习。
其实在面试准备阶段，个人的收获是很大的，我也认为这是一种不错的学习方式。首先，面试问题大部分基础而且深入，这些是平时工作的基础。就好像我们之前一直不明白学习语文的意义，但它的意义就在每天的谈话间。

所谓面试造火箭，工作拧螺丝。面试往往有更高的要求，也迫使我们更专心更深入地去学习一些知识，也何尝不是一种好事。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注前端）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

说几句个人观点。

面试，说到底是一种考试。正如我们一直批判应试教育脱离教育的本质，为了面试学习技术也脱离了技术的初心。但考试对于人才选拔的有效性是毋庸置疑的，几千年来一直如此。除非你有实力向公司证明你足够优秀，否则，还是得乖乖准备面试。这也并不妨碍你在通过面试之后按自己的方式学习。
其实在面试准备阶段，个人的收获是很大的，我也认为这是一种不错的学习方式。首先，面试问题大部分基础而且深入，这些是平时工作的基础。就好像我们之前一直不明白学习语文的意义，但它的意义就在每天的谈话间。

所谓面试造火箭，工作拧螺丝。面试往往有更高的要求，也迫使我们更专心更深入地去学习一些知识，也何尝不是一种好事。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注前端）
[外链图片转存中…(img-IrwSE50r-1713660922544)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！