spark
关注
分享
扫一扫
文章平均质量分 56
Chihyung
这个作者很懒，什么都没留下…
展开
-
spark运行模式
Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布式模式运行；而当以分布式集群的方式部署时，底层的资源调度既可以依赖于外部的资源调度框架，也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持，目前主要包括Mesos模式和Hadoop YARN模式。接下来，将对分布式集群部署的模式进行讲解。Standalone模式Sta原创 2016-12-08 22:24:21 · 518 阅读 · 0 评论 -
spark源码分析:spark运行总流程
整体流程图：1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Ta原创 2016-12-08 22:44:03 · 418 阅读 · 0 评论