spark
spark 源码阅读
spark 使用过程中遇到的问题即解决方法记录
SvenPan
思路比技术重要,想法比思路重要。
展开
-
Spark submit 源码阅读
文档说明 1.1、文档描述 本文档以笔记的形式整理记录此次阅读spark2.4.4源码的理解与过程,希望做到尽可能的详细记录下spark2.4.4源码中的一些关键细节。作为日后工作解决工作中遇到的问题的参考。 本次的阅读无任何需求背景,旨在复习和学习一下spark2.4,源码阅读分为两个部分,第一部分是spark应用程序完整的执行周期,尽量仔细的过一遍运行机制;第二部分是spark 架构各个...原创 2019-11-06 22:20:25 · 447 阅读 · 0 评论 -
Spark编译打包
一、文档说明 1.1、文档描述 Spark官网上提供的是已经编译打包好了的软件,这为我们学习和使用spark提供了方便,但是在真实的生产环境中部署spark组件,为了保证spark和hdfs以及yarn 的兼容性,我们需要自己来编译spark源码。本文描述了如何使用maven来编译打包spark源码 1.2、阅读对象 Spark 开发运维以及正在学习spark的同学 二、编译...原创 2019-11-06 22:15:58 · 343 阅读 · 0 评论