大数据架构
lmm915815
这个作者很懒,什么都没留下…
展开
-
spark2.2内核剖析---checkpoint与presist
1、checkpoint1、如何调用?2、框架底层给我们做了什么?1、执行的当时做了什么?2、在action的时候做了什么?3、总结2、presist原创 2017-08-11 11:17:50 · 364 阅读 · 0 评论 -
Spark2.2内核剖析
目录1、master启动过程2、worker启动过程3、driver启动过程4、任务提交过程5、总结sprak集群的启动和任务提交6、RDD内部详解7、stage划分算法8、task提交算法9、shuffle机制10、spark缓存机制11、spark存储模块原创 2017-08-11 11:10:02 · 176 阅读 · 0 评论