疯狂Spark之Spark集群搭建以及任务提交，2024年最新吃透这份网络安全高级工程师面试497题解析

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

需要修改一下几个参数

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任务的端口，默认是7077

SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数

SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

进入文件所在目录命令：cd spark-1.6.0/conf/

修改文件名称命令：mv spark-env.sh.template spark-env.sh

编辑spark-env.sh命令：vi spark-env.sh

在该文件中配置如下内容

export SPARK_MASTER_IP=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3g

slaves

修改slaves.template文件，添加从节点。保存。

修改文件名称命令：mv slaves.template slaves

编辑文件命令：vi slaves

下发文件到node02、node03上

下发命令：

scp -r spark-1.6.0 root@node02:/root/
scp -r spark-1.6.0 root@node03:/root/

启动集群

在node01上进入sbin目录下，执行当前目录下的./start-all.sh

进入目录命令： cd spark-1.6.0/sbin/

启动命令：./start-all.sh

此时node01位master,node02、node03位worker,可以通过jps命令查看

注意：

8080是Spark WEBUI界面的端口，7077是Spark任务提交的端口。

修改master的WEBUI端口：

1、修改start-master.sh即可。

2、可以在Master节点上导入临时环境变量，只是作用于之后的程序，重启就无效 了。

删除临时环境变量：

访问spark web-ui界面

测试

PI案例：

Standalone提交命令：

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

web-ui界面效果

搭建客户端

将spark安装包原封不动的拷贝到一个新的节点上，然后，在新的节点上提交任务即可。

在node04上上传spark安装包并解压

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

Standalone模式两种提交任务方式

Standalone-client提交任务方式

提交命令

./spark-submit  --master spark://node01:7077 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master spark://node01:7077   --deploy-mode client 
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、client模式提交任务后，会在客户端启动Driver进程。

2、Driver会向Master申请启动Application启动的资源。

3、资源申请成功，Driver端将task发送到worker端执行。

4、worker将task执行结果返回到Driver端。

总结

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。**在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要提交100个application到集群运行，Driver每次都会在client端启动，那么就会导致客户端100次网卡流量暴增的问题。**​​​​​​​

Standalone-cluster提交任务方式

提交命令

./spark-submit   --master spark://node01:7077   --deploy-mode cluster
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理图解

执行流程

1、cluster模式提交应用程序后，会向Master请求启动Driver.

2、Master接受请求，随机在集群一台节点启动Driver进程。

3、Driver启动后为当前的应用程序申请资源。

4、Driver端发送task到worker节点上执行。

5、worker将执行情况和执行结果返回给Driver端。

总结

Driver进程是在集群某一台Worker上启动的，在客户端是无法查看task的执行情况的。假设要提交100个application到集群运行,每次Driver会随机在集群中某一台Worker上启动，那么这100次网卡流量暴增的问题就散布在集群上。

总结Standalone两种方式提交任务，Driver与集群的通信包括：

1. Driver负责应用程序资源的申请

2. 任务的分发。

3. 结果的回收。

4. 监控task执行情况。

Yarn模式两种提交任务方式

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ect/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
[外链图片转存中…(img-Ul3OPgeX-1713626962467)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！