spark 1.3.1 master 源码初探01

原创 2015年07月08日 22:15:52
首先打开远程调试:
    1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试
          
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
    2.IDEA里面创建远程调试配置
        
    3.在服务器上启动master
    3.点击debug(小虫子)就可以开始了




入口:
    org.apache.spark.deploy.master.Master:865 Line Mian


进入startSystemAndActor,这里会通过一系列安全校验后通过Akka建立Actor    




   下面跟进AkkaUtils.createActorSystem





尝试启动服务




若是启动失败,重新尝试以及计算端口 




开始启动




ActorSystem启动完成,下面开始看启动Master:



主构造器中有意思的代码:



查看Master preStart中,订阅事件以及检测Worker心跳




执行到这里master启动就差不多了  , 有时间接着总结。 



0003.spark2.0源码分析(3)--master注册机制与状态管理

本小节主要讲解Driver、Worker、Appliction进行注册给Master的源码分析,Master对Driver和Executor状态改变的源码分析。...
  • njiang
  • njiang
  • 2016年08月14日 08:03
  • 718

spark 1.6.0 core源码分析3 Master HA

在Master启动过程中,首先调用了 Akka actor的preStart方法。 [java] view plain copy override def preStart()...
  • wuzhilon88
  • wuzhilon88
  • 2016年07月05日 21:11
  • 685

Spark源码解读(1)——Master启动过程

本文主要讨论Spark以Standalone模式部署情况下,Master的启动流程。
  • scalahome
  • scalahome
  • 2016年07月20日 14:56
  • 1108

spark源码分析Master与Worker启动流程篇

spark通信流程 概述 spark作为一套高效的分布式运算框架,但是想要更深入的学习它,就要通过分析spark的源码,不但可以更好的帮助理解spark的工作过程,还可以提高对集群的排错...
  • z66261123
  • z66261123
  • 2016年04月19日 21:29
  • 2278

Spark的Master和Worker集群启动的源码分析

基于spark1.3.1的源码进行分析 spark master启动源码分析 1、在start-master.sh调用master的main方法,main方法调用 def main(argStr...
  • zxl333
  • zxl333
  • 2015年07月11日 22:11
  • 2233

spark 1.6.0 core源码分析2 master启动流程

源码位置:org.apache.spark.deploy.master.Master.scala def main(argStrings: Array[String]) { SignalLog...
  • wuzhilon88
  • wuzhilon88
  • 2016年07月05日 20:25
  • 681

spark源码学习(二)---Master源码分析(1)-master的主备切换机制

1.spark master HA 机制概览 与hadoop一样,spark也存在单点故障问题,为此,spark的standalone模式提供了master的HA,与hadoop一样,一个是activ...
  • englishsname
  • englishsname
  • 2016年02月03日 23:24
  • 891

spark2.1源码调试

spark的源码使用了两种构建工具。maven和sbt。很多人都推荐使用idea+sbt来导入spark的源码。我自己用idea+sbt试了一下。给sbt添加镜像源了,还是没有导入成功。也许是我对sb...
  • AHAU10
  • AHAU10
  • 2017年06月23日 15:50
  • 496

spark源码学习(七);task任务的提交分析

spark入门学习;task任务的提交分析           spark虽然在计算速度上比hadoop要强势很多,但是这两个框架在底层的数据流都要经过shuffle。由此,shuffle把spark...
  • liyaohhh
  • liyaohhh
  • 2016年02月23日 19:10
  • 953

Spark源码之路(二):Master原理剖析与源码分析

一、涉及到的源码列表: Master.scala WorkerInfo.scala DriverDescription.scala RecoveryState.scala PersistenceE...
  • HaixWang
  • HaixWang
  • 2018年01月12日 13:32
  • 77
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 1.3.1 master 源码初探01
举报原因:
原因补充:

(最多只允许输入30个字)