spark
梁-大数据开发
这个作者很懒,什么都没留下…
展开
-
spark on yarn client与cluster的区别
yarn-client和yarn-cluster的区别Cluster运行在applicationmaster中,提交了作业之后可以关闭client,在yarn上运行Client 运行在本地客户端,client不能离开原创 2021-02-18 10:59:17 · 127 阅读 · 0 评论 -
spark节点启动流程
1通过create在master节点创建rpcenv2通过setupendpoint在master节点创建masterendpoint3通过create在worker节点创建rpcenv4通过setupendpoint在woker节点创建workerendpoint5通过setupendpointref在woker节点创建masterendpointref6masterendpointref向masterendpoint注册包括内存cpu等7masterendpoint在table中注册work原创 2021-02-18 10:41:10 · 409 阅读 · 0 评论
分享