![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark源码
ustbxyls
这个作者很懒,什么都没留下…
展开
-
Mac上Spark本地模式调试报错-no snappyjava in java.library.path
Idea本地运行Spark,SparkContext.textFile()读取文件时报错,具体报错:Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.pathat java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867)...原创 2019-11-19 15:20:28 · 4261 阅读 · 0 评论 -
Standalone模式下_taskScheduler和executor运行原理解密
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141工作原理说明:一:Spark Executor工作原理:1.创建并启动TaskScheduler在SparkContext中调用内部方法createTaskScheduler创建TaskScheduler,并启动TaskScheduler;1.1在Standalone模式下createTaskScheduler匹配到如下代码:SparkContext:case SPARK_REGE.原创 2020-07-13 16:25:20 · 1412 阅读 · 0 评论 -
Spark checkpoint 功能源码详解
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141为什么要checkpoint?checkpoint和persist功能相似,都是为了更高效的复用RDD,但是Checkpoint可以进行容错,即driver失败后,可以基于checkpoint 数据进行重新启动。checkpoint推荐使用方式:一般在进行checkpoint方法调用前都要进行persist,来把当前RDD的数据持久化到内存或者磁盘上,这是因为checkpoint是lazy级别..原创 2020-07-09 15:35:30 · 266 阅读 · 0 评论 -
spark master HA流程和源码详解(standalone)
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141spark集群安装部署节点分布 Master Worker node01.zf.com √ 192.168.0.100 node02.zf.com √ √ ...原创 2020-06-17 18:31:12 · 427 阅读 · 0 评论 -
Spark Worker 启动流程及源码详解
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141可以参考【Spark Master启动流程详解】${SPARK_HOME}/sbin/start-slaves.sh# Launch the slaves"${SPARK_HOME}/sbin/slaves.sh" cd "${SPARK_HOME}" \; "${SPARK_HOME}/sbin/start-slave.sh" "spark://$SPARK_MASTER_HOST:$SPARK_原创 2020-06-17 09:48:25 · 1054 阅读 · 0 评论 -
Spark Master启动流程及源码详解
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141${SPARK_HOME}/sbin/start-master.sh# NOTE: This exact class name is matched downstream by SparkSubmit.# Any changes need to be reflected there.CLASS=“org.apache.spark.deploy.master.Master"..."${S.原创 2020-06-17 09:39:02 · 804 阅读 · 0 评论 -
spark-shell启动命令详细解析2
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141接上篇【spark-shell启动命令详细解析1】下面我们来看下org.apache.spark.repl.Main是如何处理spark-shell中输入的命令的在org.apache.spark.repl.Main$main方法中,调用doMain方法通过doMain方法,调用SparkILoop$process方法SparkILoop是spark交互式shell,继...原创 2020-06-17 09:36:03 · 929 阅读 · 0 评论 -
spark-shell启动命令详细解析1
环境:spark 2.3.3scala 2.11.8Java 1.8.0_141执行spark-shell命令后,会启动spark-shell交互命令行窗口:那么spark-shell命令的启动流程是怎样的呢?下面让我们来一步一步分析首先,查看${SPARK_HOME}/bin/spark-shell启动脚本可以看到,spark-shell脚本使用启动参数调用main方法spark-shell脚本中的main方法最终会调用命令:"${SPAR..原创 2020-06-17 09:34:17 · 6376 阅读 · 1 评论