- 博客(2)
- 资源 (11)
- 收藏
- 关注
原创 Spark内核架构剖析
整个Spark工作流程主要分为两部分: 一、创建SparkContext 1.客户端在提交spark应用的机器提交一个Applicaton程序。 2.通过spark-submit方式在该机器上创建一个Driver(jvm进程)。 3.Driver会执行我们自己编写的Application应用程序,并会在当前机器上初始化SparkContext。 4.SparkContext在初始化的...
2018-08-08 19:45:37 4460
转载 基于CentOS6.4环境编译Spark-2.1.0源码
1 写在前面的话 有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对Spark源码进行编译呢?针对这个问题我们到Spark官网: spark.apache.org来看下,如下图所示: Spark官网的确是提供了一些Hadoop版本的Spark安装包,但是提供的这些是否能够满足我们的要求呢?答案肯定是否定的,根据本人近几年做Spark的开发经验...
2018-08-01 13:08:02 3958
Oracle经典教程_入门(夯推).pdf
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人