spark
梁-大数据开发
这个作者很懒,什么都没留下…
展开
-
spark on yarn client与cluster的区别
yarn-client和yarn-cluster的区别 Cluster运行在applicationmaster中,提交了作业之后可以关闭client,在yarn上运行 Client 运行在本地客户端,client不能离开原创 2021-02-18 10:59:17 · 112 阅读 · 0 评论 -
spark节点启动流程
1通过create在master节点创建rpcenv 2通过setupendpoint在master节点创建masterendpoint 3通过create在worker节点创建rpcenv 4通过setupendpoint在woker节点创建workerendpoint 5通过setupendpointref在woker节点创建masterendpointref 6masterendpointref向masterendpoint注册包括内存cpu等 7masterendpoint在table中注册work原创 2021-02-18 10:41:10 · 391 阅读 · 0 评论