- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark Yarn Cluster模式运行流程
以wordCount功能实现为例：命令行：bin/spark-submit –class WordCount –master yarn –deploy-mode cluster ./WordCount.jar ./input ./outputSpark Yarn Cluster模式运行流程命令行-脚本执行- SparkSubmit- 内部调用Client类里面的main方法并执行...
2020-03-26 12:06:29
569
原创 Spark Yarn Client模式运行流程
以wordCount程序为例:命令行内容：bin/spark-submit –class WordCount –master yarn –deploy-mode client ./WordCount.jar ./input ./output运行流程命令行-脚本执行- SparkSubmit- 调用main(即Driver)-执行代码-初始化SC-任务切分-申请启动Executor...
2020-03-26 11:48:00
454
原创 Spark 内核
Spark内核Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等。Spark核心组件DriverSpark驱动器节点，用于执行Spark任务中的main方法：将用户程序转化为作业（job）；在Executor之间调度任务(task)；跟踪Executor的执行情况；通过UI展...
2020-03-26 10:51:42
176
原创 scala的timeStamp格式转换
源码如下：import java.text.SimpleDateFormatimport java.util.Dateobject timeStamp { def main (args : Array[String]) : Unit = { val timeStamp = "1584864313644".toLong val day =new Date(timeStam...
2020-03-22 16:30:17
1907
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人