- 博客(3)
- 资源 (27)
- 收藏
- 关注
原创 Spark2.0源码之3_Master
Spark官网上有一张集群交互图 部署完spark编译包之后,我们执行spark脚本./sbin/start-all.sh,脚本中又调用了其他脚本,就不说这部分内容了,最终JVM会加载Master类。 Master的main函数: private[deploy] object Master extends Loggi
2016-12-07 14:06:22 841
原创 Spark2.0源码之2_TorrentBroadcast
package org.apache.spark.broadcast import java.io._ import java.nio.ByteBuffer import java.util.zip.Adler32 import scala.collection.JavaConverters._ import scala.reflect.ClassTag import scala.util.R
2016-12-06 15:17:57 642
原创 Spark2.0源码之1_Broadcast
通过Spark源码中的注释信息理解Spark内核源码。 package org.apache.spark.broadcast import java.io.Serializable import scala.reflect.ClassTag import org.apache.spark.SparkException import org.apache.spark.intern
2016-12-06 14:58:29 800
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人