spark启动代码阅读:
spark使用一系列的shell脚本作为入口:其中bin目录下面是任务提交的脚本;sbin目录是master和worker启停相关的脚本。
而所有脚本最后都是通过调用bin/spark-class来实现对java(scala)代码的调用。
----------------------spark-class获取java参数分析 开始-------------------------------------
spark-class的代码处理流程:
- 调用org.apache.spark.launcher.Main并把传入的参数代入,以获取到具体的参数:
("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")将参数代入,即执行的是:
/usr/java/jdk/bin/java -cp /home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh5.3.2.jar org.apache.spark.launcher.Main org.apache.spark.deploy.SparkSubmit --class com.xxx.xxxx.stat.core.Main --master spark://xxxx1:7077,xxxx2:7077 --executor-memory 2G --driver-memory 5G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528
这行代码返回的是:
/usr/java/jdk/bin/java -cp /home/xxx/spark/libext/*:/home/xxx/spark/conf/:/home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh5.3.2.jar:/home/xxx/spark/lib/datanucleus-api-jdo-3.2.6.jar:/home/xxx/spark/lib/datanucleus-core-3.2.10.jar:/home/xxx/spark/lib/datanucleus-rdbms-3.2.9.jar:/home/xxx/yarn/etc/hadoop -DLOG_LEVEL=INFO -DROLE_NAME=console -Xms5G -Xmx5G -Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M org.apache.spark.deploy.SparkSubmit --master spark://xxxx1:7077,xxxx2:7077 --conf spark.driver.memory=5G --class com.xxx.xxxx.stat.core.Main --executor-memory 2G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528
可以看出org.apache.spark.launcher.Main类的主要作用就是填充了最终执行的java命令的参数。包括classpath、java命令的堆栈参数等。下面分析下实现过程:
1.org.apache.spark.launcher.Main是一个单独的路径,不属于core的一部分。
2.org.apache.spark.launcher.Main这个类对于org.apache.spark.deploy.SparkSubmit这个的调用,创建了builder = new SparkSubmitCommandBuilder(args);用来规整sparksubmit命令的java参数。
3.对于其他的调用(应该主要是master和worker的调用),创建了builder = new SparkClassCommandBuilder(className, args);用于规整其他命令的java参数。
对于上面两种情况,都是先初始化,然后调用builder的buildCommand方法两步就生成了java代码的参数。
SparkSubmitCommandBuilder通过调用内部类class OptionParser extends SparkSubmitOptionParser 进行对参数的解析。
classpath主要在
buildCommand
buildSparkSubmitCommand
buildJavaCommand(在父类中)
在各种可能含有classpath的地方获取。
-Xms5G -Xmx5G这两个参数是在buildSparkSubmitCommand中的通过参数中的SPARK_DRIVER_MEMORY(spark.driver.memory)解析获取到的
-Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M则是通过addPermGenSizeOpt(cmd);在配置文件中的spark.driver.extraJavaOptions这个配置项(DRIVER_EXTRA_JAVA_OPTIONS = "spark.driver.extraJavaOptions";)解析获取到的。
----------------------------spark-class获取java参数分析 结束----------------------------------------------------------
先分析下目前使用较多的bin/spark-submit(spark任务提交,driver进程启动)、sbin/start-master.sh(后台启动,master进程启动)、sbin/start-slave.sh(后台启动,worker进程启动),启动代码都在spark-1.5.2\core\src\main\scala\org\apache\spark\deploy:
- spark-submit
通过spark-class调用的类名:org.apache.spark.deploy.SparkSubmit
下面来分析,是怎么把driver启动起来的,分析类SparkSubmit.scala
/usr/java/jdk/bin/java -cp /home/xxx/spark/libext/*:/home/xxx/spark/conf/:/home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh5.3.2.jar:/home/xxx/spark/lib/datanucleus-api-jdo-3.2.6.jar:/home/xxx/spark/lib/datanucleus-core-3.2.10.jar:/home/xxx/spark/lib/datanucleus-rdbms-3.2.9.jar:/home/xxx/yarn/etc/hadoop -DLOG_LEVEL=INFO -DROLE_NAME=console -Xms5G -Xmx5G -Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M org.apache.spark.deploy.SparkSubmit --master spark://xxxx1:7077,xxxx2:7077 --conf spark.driver.memory=5G --class com.xxx.xxxx.stat.core.Main --executor-memory 2G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528
传入的参数主要是:
--conf spark.driver.memory=5G
--class com.xxx.xxxx.stat.core.ExcuteMain
--executor-memory 2G
--total-executor-cores 10
/home/xxx/xxxxxxx/bigdata-xxxxxxx.jar
com.xxx.xxxx.stat.xxx.XXXXJob
20180527
20180528
SparkSubmit的Main函数,通过val appArgs = new SparkSubmitArguments(args)获取到进一步解析的参数,然后调用submit(appArgs),就实现了提交。
SparkSubmitArguments类,先调用上面org.apache.spark.launcher.Main调用过的org.apache.spark.launcher.SparkSubmitOptionParser的parse来对参数进行解析,然后调用loadEnvironmentArguments对环境中可能配置的参数进行解析或者赋予默认值。最后给action参数赋予SUBMIT的默认值:
action = Option(action).getOrElse(SUBMIT)
下面看submit的方法的处理过程:
- val (childArgs, childClasspath, sysProps, childMainClass) = prepareSubmitEnvironment(args)
a.定义driver代码类childArgs、childClasspath、sysProps、childMainClass。可以这样理解:submit提交了很多信息,比如使用的核数(对应的executor的个数)、每个核用的内存数、执行的driver代码(driver代码也视为一种提交的内容)
b.定义集群管理clusterManager,根据master的前缀进行区分。yarn,spark,mesos,local
c.定义提交模式deployMode,CLIENT则driver在当前机器;CLUSTER则使用某个worker作为driver。
d.下面的代码就是对clusterManager、deployMode、python(R)组合的特殊情况处理。我们重点关注standalone模式。
e.将各个参数填入options变量中。
f.对于if (deployMode == CLIENT) { 填充四个参数。 直接将childMainClass = args.mainClass填充,在sparkSubmit中直接被runMain调用执性。
f.对于isStandaloneCluster模式(standalone和cluster模式),区分legacy和rest两种事项方式来启动一个client来执性dirver
rest方式将org.apache.spark.deploy.rest.RestSubmissionClient填充到childMainClass,
legacy方式:org.apache.spark.deploy.Client填充到childMainClass
在sparksubmit中执行上面的类,而将args.mainClass作为参数传给上面的类。
g.对于cluster模式忽略spark.driver.host参数。
h.返回四个参数
四个参数的解释:
-
This returns a 4-tuple:
-
(1) the arguments for the child process,
-
(2) a list of classpath entries for the child,
-
(3) a map of system properties, and
- (4) the main class for the child
- 调用doRunMain
runMain
调用提交的childMainClass,
mainClass = Utils.classForName(childMainClass)
val mainMethod = mainClass.getMethod("main", new ArrayString.getClass)
mainMethod.invoke(null, childArgs.toArray)
- start-master.sh(中间调用了spark-daemon.sh)
通过spark-class调用的类名:org.apache.spark.deploy.master.Master
调用时带的参数:
- start-slave.sh(中间调用了spark-daemon.sh)
通过spark-class调用的类名:org.apache.spark.deploy.worker.Worker
调用时带的参数:
转载于:https://blog.51cto.com/11091005/2121281