spark源码学习记录
文章平均质量分 93
beetle_lzk
你知道的越多,你不知道的越多
展开
-
spark yarn-cluster 提交流程记录
spark yarn-cluster提交流程原创 2021-03-02 11:40:25 · 402 阅读 · 2 评论 -
spark2.2.0源码分析
程序入口,前面参数初始化略过 。。。。 首先调用createSparkEnv 创建env // Create the Spark execution environment (cache, map output tracker, etc) _env = createSparkEnv(_conf, isLocal, listenerBus) SparkEnv.set(_env) 1.首先来看listenerBus 事件对象 事件监听模式 事件源 时间监听器 sparkContext中初始化该LiveListe原创 2020-10-09 11:44:37 · 92 阅读 · 0 评论 -
spark2.2.0源码环境搭建
概述 本文主要记录在win10环境下编译spark源码过程中的主要步骤,中间涉及一些问题导致运行example例子未成功,因此记录下来加深印象。话不多说,开始记录。 环境准备 jdk version :1.8 scala version :2.10.0 maven version :3.3.9 spark version : 2.2.0 step1 在一切准备妥当之后,就可以动手了,首先下载spark源码,可以去官网下载源码包,也可以去github上下载源码包,我使用命令方式来下载。 进入你需要存放源原创 2020-09-29 18:47:46 · 341 阅读 · 0 评论