spark
talent_curry
这个作者很懒,什么都没留下…
展开
-
Spark的重要组件和基本工作流程
Spark的几大组件:Driver,Master,Worker,Executor,Task基本工作流程为:Driver向Master节点提交我们编写的Spark程序进行应用的注册,并且对集群进行监控。Master在接收到程序注册后,会发送请求给Worker进行资源的调度和分配,即要求worker启动相应的Executor,资源分配即Executor的分配。原创 2017-09-03 18:20:10 · 1139 阅读 · 0 评论 -
Spark内核深度剖析之内核架构
spark内核原创 2017-09-22 15:29:48 · 516 阅读 · 0 评论 -
Spark内核深度剖析之宽依赖和窄依赖
在之前提到了DAGScheduler会将job划分为多个stage,而划分依据就是RDD之间的依赖关系。RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency).窄依赖:窄依赖是指一个RDD对它的父RDD只有简单的一对一的依赖关系,即RDD的每个partition只依赖于父RDD中的一个partiti原创 2017-09-22 16:47:21 · 727 阅读 · 0 评论 -
spark-yarn 模式下的一些参数
这些参数都可以在spark-submit脚本中通过 --conf进行配置。原创 2017-10-28 09:43:15 · 246 阅读 · 0 评论