![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark core 源码分析
文章平均质量分 89
LinkStars
这个作者很懒,什么都没留下…
展开
-
spark源码分析-Standalone Cluster模式源码分析,driver,executor开启,如何idea 运行spark应用
史上最全面的spark源码分析,独一无二的分析,让你彻底明白spark 如何开启driver,以及什么时候会开启executor。本文使用spark3.0.1提供计算π 的案例进行演示 ,运行调度Standalone Cluster模式。演示步骤如下:启动master,ip:169.254.150.140启动worker:传参 spark://169.254.150.140:7077环境变量设置:调试的时候会报错java.lang.IllegalStateException: Cannot fin原创 2021-02-17 14:47:31 · 2860 阅读 · 6 评论 -
spark源码分析,master如何开启,master和worker是怎么通信
master的开启,开启了master,会在本机开启master netty服务端,用来接收远程或者本地客户端发送数据,再对master服务进行绑定。开启流程如:https://blog.csdn.net/LinkStars/article/details/112982187spark源码学习 -worker启动消息通信,inbox,outbox创建netty 服务端发送消息:master消息接收会存放到master 的inbox中,master 的inbox会不断轮询进行process,master原创 2021-01-31 12:34:36 · 915 阅读 · 6 评论 -
spark源码学习 -worker启动消息通信,inbox,outbox创建
注意:建议各位看如下代码,一定要导入一份源码到自己本地电脑中哦,可以导入进行调试。流程代码我删除许多,保留重点。本章主要介绍的是,worker 开启,并与master通信流程,以及inbox收件箱outbox发件箱的创建。认真学习你可以收获许多哦,举例使用该inbox,outbox处理模式,可以嵌入到聊天程序当中哦,处理高并发请求。废话不多说,进入主题。park业务操作和数据传输相隔里,数据传输就交给netty,netty不涉及业务,提高netty服务器的响应时间,提高代码的复用性,降低耦合性。wor原创 2021-01-22 18:02:54 · 4401 阅读 · 10 评论