先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新网络安全全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上网络安全知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注网络安全)
正文
需要修改一下几个参数
SPARK_MASTER_IP:master的ip
SPARK_MASTER_PORT:提交任务的端口,默认是7077
SPARK_WORKER_CORES:每个worker从节点能够支配的core的个数
SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数
进入文件所在目录命令:cd spark-1.6.0/conf/
修改文件名称命令:mv spark-env.sh.template spark-env.sh
编辑spark-env.sh命令:vi spark-env.sh
在该文件中配置如下内容
export SPARK_MASTER_IP=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3g
slaves
修改slaves.template文件,添加从节点。保存。
修改文件名称命令:mv slaves.template slaves
编辑文件命令:vi slaves
下发文件到node02、node03上
下发命令:
scp -r spark-1.6.0 root@node02:/root/
scp -r spark-1.6.0 root@node03:/root/
启动集群
在node01上进入sbin目录下,执行当前目录下的./start-all.sh
进入目录命令: cd spark-1.6.0/sbin/
启动命令:./start-all.sh
此时node01位master,node02、node03位worker,可以通过jps命令查看
注意:
8080是Spark WEBUI界面的端口,7077是Spark任务提交的端口。
修改master的WEBUI端口:
1、修改start-master.sh即可。
2、可以在Master节点上导入临时环境变量,只是作用于之后的程序,重启就无效 了。
删除临时环境变量:
访问spark web-ui界面
测试
PI案例:
Standalone提交命令:
进入spark提交命令路径:cd spark-1.6.0/bin/
./spark-submit --master spark://node01:7077
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000
web-ui界面效果
搭建客户端
将spark安装包原封不动的拷贝到一个新的节点上,然后,在新的节点上提交任务即可。
在node04上上传spark安装包并解压
修改解压包名称命令:mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
进入spark提交命令路径:cd spark-1.6.0/bin/
./spark-submit --master spark://node01:7077
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000
Standalone模式两种提交任务方式
Standalone-client提交任务方式
提交命令
./spark-submit --master spark://node01:7077
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
或者
./spark-submit --master spark://node01:7077 --deploy-mode client
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
执行原理图解
执行流程
1、client模式提交任务后,会在客户端启动Driver进程。
2、Driver会向Master申请启动Application启动的资源。
3、资源申请成功,Driver端将task发送到worker端执行。
4、worker将task执行结果返回到Driver端。
总结
client模式适用于测试调试程序。Driver进程是在客户端启动的,这里的客户端就是指提交应用程序的当前节点。**在Driver端可以看到task执行的情况。生产环境下不能使用client模式,是因为:假设要提交100个application到集群运行,Driver每次都会在client端启动,那么就会导致客户端100次网卡流量暴增的问题。**
Standalone-cluster提交任务方式
提交命令
./spark-submit --master spark://node01:7077 --deploy-mode cluster
--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
执行原理图解
执行流程
1、cluster模式提交应用程序后,会向Master请求启动Driver.
2、Master接受请求,随机在集群一台节点启动Driver进程。
3、Driver启动后为当前的应用程序申请资源。
4、Driver端发送task到worker节点上执行。
5、worker将执行情况和执行结果返回给Driver端。
总结
Driver进程是在集群某一台Worker上启动的,在客户端是无法查看task的执行情况的。假设要提交100个application到集群运行,每次Driver会随机在集群中某一台Worker上启动,那么这100次网卡流量暴增的问题就散布在集群上。
总结Standalone两种方式提交任务,Driver与集群的通信包括:
-
Driver负责应用程序资源的申请
-
任务的分发。
-
结果的回收。
-
监控task执行情况。
Yarn模式两种提交任务方式
给大家的福利
零基础入门
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
同时每个成长路线对应的板块都有配套的视频提供:
因篇幅有限,仅展示部分资料
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注网络安全)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
ect/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)
因篇幅有限,仅展示部分资料
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注网络安全)
[外链图片转存中…(img-Ul3OPgeX-1713626962467)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!