SparkSubmit | |||||||||||
main | |||||||||||
new SparkSubmit | |||||||||||
doSubmit | |||||||||||
parseArguments | |||||||||||
// --master yarn => master | |||||||||||
// --deploy-mode cluster => deployMode | |||||||||||
// --class SparkPI(WordCount) => 【mainClass】 | |||||||||||
parse | |||||||||||
submit | |||||||||||
doRunMain | |||||||||||
runMain | |||||||||||
prepareSubmitEnvironment(args) | |||||||||||
Thread.currentThread.setContextClassLoader(loader) | |||||||||||
mainClass = Utils.classForName(childMainClass) | |||||||||||
app = mainClass.newInstance().asInstanceOf[SparkApplication] | |||||||||||
app.start | |||||||||||
YarnClusterApplication | |||||||||||
start | |||||||||||
new ClientArguments | |||||||||||
new Client | |||||||||||
yarnClient = YarnClient.createYarnClient | |||||||||||
rmClient | |||||||||||
run | |||||||||||
submitApplication | |||||||||||
createContainerLaunchContext | |||||||||||
createApplicationSubmissionContext | |||||||||||
yarnClient.submitApplication(appContext) |
spark的提交源码(一)
最新推荐文章于 2022-11-19 22:12:56 发布