- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark之SparkEnv实例的构建
SparkEnvSparkEnv会在Driver和Executor角色创建时，创建该类的一个实例，为当前结点的正常工作提供必要的功能，例如管理交互数据在本地的缓存、shuffle文件、跟踪Map任务的输出等。它实例化了Spark实例运行时所需要的各类对象，（不论是在master还是worker端），用户代码里则可以全局变量的方式来获取SparkEnv实例，因此它可以被多个线程所共享。可以有多种方式来获取SparkEnv的实例，比如如果创建了SparkContext时，可以直接调用如下的语句来获取此变量。
2020-06-28 16:02:20
519
原创 Spark之Stage的生成及任务的执行
每一个Spark应用都会创建一个sparksession，用来跟Spark集群交互，如果提交任务的模式为cluster模式，则Driver进程会被随机在某个worker结点上启动，然后真正执行用户提供的入口类，或是使用Spark内置的入口类，同时在Driver中会创建clientmasterworkerdriverdirverexecutorRequestSubmitDriverLaunchDrivernew DriverRunner["deploy.worker.DriverWrapper"]Proce
2020-06-18 16:27:36
2365
2
原创 Spark集群创建之核心角色的创建过程
基本概念RpcEnv不论Driver进程、Master进程、Worker进程等，但凡是在同一个Spark进程环境中生成的、需要消息交互的对象（RpcEndpoint），都共用一个RpcEnv实例，以便使用统一的环境信息来收发RPC消息，同时这些RpcEndpoint必须显示调用setupEndpoint(...)方法完成注册。RpcEnv类的核心定义描述及相关代码如下：传递从远程RpcEndpointRef收到的消息到指定的已经注册在当前环境的RpcEndpoint（在下一小节分析）查找已经在当
2020-06-03 19:24:39
263
原创 spark-submit命令行提交Spark任务流程解读
spark-submit方式提交应用启动脚本文件# 命令行提交Spark应用样例：#./bin/spark-submit \# --class com.imooc.spark.Test.TestOfSparkContext2 \# --conf spark.master spark://localhost:7077 \# --master local[2] \# /home/hadoop/data/test-jar/sql-1.0.jar arg1 arg2#if [ -z "${
2020-06-01 21:23:53
2449
wxWidgets&OpengGL 实现shadow volume
2015-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人