hdfs
1 写数据流程
2 HDFS读数据流程1
3 HDFS副本节点选择
4 HDFS nn 2nn 镜像文件以及编辑日志的工作机制
注意此类机制都是先更新编辑日志,再更新内存文件block元数据。
checkpoint触发默认条件是一小时或者满足一百万条操作日志,肯定可以修改。
5 HDFS datanode工作机制
yarn
1 整体架构图_1
2 yarn工作机制mr
hadoop
1 hadoop--map工作流程
2 hadoop--reduce阶段
3 hadoop_shuffle阶段
spark
1 spark-yarn任务提交
1 SparkSubmit
//启动进程
--main
//封装进程启动的xxx参数
--new SparkSubmitArguments
//提交
--submit
//准备提交环境(返回的是自己spark程序的mainClass以及args等信息)
--prepareSubmitEnvironment
//cluster提交模式
--childMainClass = "org.apache.spark.deploy.yarn.Client"
//client提交模式
--childMainClass = args.mainClass(自己打包spark程序的主类)
//参数就是prepareSubmitEnvironment返回的结果
--doRunMain (runMain)
//反射加载类
--Utils.classForName(childMainClass)
//查找main方法
--mainClass.getMethod("main",new Array[String](0).getClass)
//调用main方法
--mainMethod.invoke
2 Client
--main
--new ClientArguments(argsString)
--new Client
//连接yarn的客户端,内部参数是yarn集群resourceManager的address等信息
--yarnClient = YarnClient.createYarnClient
--client.run()
//产生applicationId
--submitApplication
//封装指令 command = /bin/java org.apache.spark.deploy.yarn.ApplicationMaster
--createContainerLaunchContext
--createApplicationSubmissionContext
//向yarn提交应用
--yarnClient.submitApplication(appcontext)
3 ApplicationMaster(yarnNM中启动)
//启动进程
--main
--new ApplicationMasterArguments(args)
//创建应用管理器对象
--new ApplicationMaster
--master.run()
//Cluster
--runDriver
//启动用户应用
--startUserApplication
//获取用户类的main方法
--userClassLoader.loadClass(args.userClass).getMethod("main", classOf[Array[String]])
//启动线程,执行用户类的main方法,线程的名字就是driver!!!
--new Thread().start()
//注册AM
--registerAM
//获取yarn资源
--client.register
//分配资源
--allocator.allocateResources()
//考虑数据文件节点的本地化
--handleAllocatedContainers
//启动cachedThreadPool运行
--runAllocatedContainers
--new ExecutorRunnable().run()
//rpc跟nm发送启动进程的指令, command = /bin/java org.apache.spark.executor.CoarseGrainedExecutorBackend
--startContainer
4 CoarseGrainedExecutorBackend
--main
--run
--onStart
//ref为CoarseGrainedExecutorBackend类中的Driver的rpc通信的句柄
--ref.ask[Boolean](RegisterExecutor)
--receive
//rpc通信模式匹配executor后台的操作
--case RegisteredExecutor
--new Executor
--case launchTask
--executor.launchTask
2 spark sortshufflemanager bypass机制相对于普通机制的异同
普通机制产生磁盘小文件的个数: 2*M(map task的个数)索引文件-和磁盘文件
bypass 机制触发条件
1)shuffle reduce 端的 task 数量小于 spark.shuffle.sort.bypassMergeThreshold 参数值的时候;
2)不是聚合类的shuffle算子(比如reduceByKey)mapSideCombine即map端预聚合;
该机制下,当前 stage 的每个 task 会将数据的 key 进行 hash,然后将相同 hash 的 key 锁对应的数据写入到同一个内存缓冲区,缓冲写满后会溢写到磁盘文件,这里和 HashShuffleManager一致。然后会进入 merge 阶段,将所有的磁盘文件合并成一个磁盘文件,并创建一个索引文件。
相比较于普通机制,这里有两个地方不同:
1)将数据写入内存时候,普通模式是将数据写入 Map 或者 Array 这样的内存数据结构中,这里是根据 key 的 Hash 值直接写入内存;
2)该模式下在写入磁盘之前不会排序;
3)磁盘写机制不同