![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark内核
zhongyuankai
done
展开
-
[Spark内核]通讯架构源码解析
熟悉的套路,先大概的了解spark的通讯架构怎么样工作,然后再去跟踪源码。Spark2.x版本使用Netty通讯框架作为内部通讯组件。Spark通讯框架中各个组件(Client/Master/Worker)可以认为是一个个独立的实体,各个实体之间通过消息来进行通信,如图:Endpoint(Client/Master/Worker)有1个InBox和N个OutBox(N>=1,N取决...原创 2020-03-21 14:58:10 · 2025 阅读 · 0 评论 -
[Spark内核]Yarn集群模式部署流程源码分析
在实际工厂环境下使用的绝大多数的集群管理器是Hadoop YARN,因此我们关注的重点是Hadoop YARN模式下的Spark集群部署。先熟悉一下Yarn集群模式下spark部署流程,然后再跟踪源码进行分析。任务提交后会和ResourceManager通讯申请启动ApplicationMaster,随后ResourceManager分配container;在合适的NodeManager...原创 2020-03-20 17:28:51 · 1514 阅读 · 0 评论