Spark 源码
文章平均质量分 78
姜上清风
这个作者很懒,什么都没留下…
展开
-
spark2.4.8 编译支持 hadoop3.3.3 hive2
因为 spark 只依赖 hdfs 文件系统,spark2 默认就支持了 hadoop2,如果要支持 hadoop3 只需要 把 hadoop 依赖 换为 hadoop3 即可;当然你可以使用官方的 spark 在 hadoop2 编译后的 spark 安装包,但是就不能使用 hdfs3 的 纠删码等特性了。原创 2022-10-10 14:55:11 · 1681 阅读 · 0 评论 -
Spark-YarnClusterSchedulerBackend,YarnSchedulerBackend,CoarseGrainedSchedulerBackend 源码阅读
YarnClusterSchedulerBackend主要负责 和 executors 通信,在 driver 的用户线程中工作,TaskSchedulerImpl 的 任务会通过 这个类及其父类 分发到executor。//主要负责 和 executors 通信,在 driver 的用户线程中工作 private[spark] class YarnClusterSchedulerBacke...原创 2020-03-26 15:13:22 · 749 阅读 · 0 评论 -
Spark-TaskSchedulerImpl,TaskSetManager,Pool 源码解析
Spark-TaskSchedulerImpl,TaskSetManager,Pool 源码解析class PoolTaskSchedulerImplclass TaskSchedulerImplobject TaskSchedulerImplTaskSetManagerclass TaskSetManagerobject TaskSetManagerTaskResultGetterclass ...原创 2020-03-25 17:31:05 · 684 阅读 · 0 评论 -
Spark-HeartbeatReceiver 源码解析
Spark-HeartbeatReceiver 源码解析class HeartbeatReceiverobject HeartbeatReceiverHeartbeatReceiver这个类是一个 endPoint,在driver端才有其对象。他的主要作用是 定时监测 注册到 本dirver的所有的executor 是否存活。下面来看看源码:class HeartbeatReceiverp...原创 2020-03-16 11:01:01 · 224 阅读 · 0 评论 -
Spark-BroadcastManager&TorrentBroadcastFactory&BroadcastFactory&Broadcast 源码解析
Spark-BroadcastManager&TorrentBroadcastFactory&BroadcastFactory&Broadcast 源码解析BroadcastManagerTorrentBroadcastFactoryBroadcastFactoryTorrentBroadcastabstract class BroadcastBlockIdRDDBlock...原创 2020-03-06 21:29:37 · 244 阅读 · 0 评论 -
Spark-BlockManager、BlockManagerSlaveEndpoint、DiskStore、MemoryStore、BlockInfoManager、BlockInfo 源码解析
Spark-BlockManager、DiskStore、MemoryStore、BlockInfoManager、BlockInfo 源码解析class BlockInfo & Object BlockInfoclass BlockInfoManagerclass MemoryStore & class DiskStoreclass BlockManagerclass Block...原创 2020-03-06 17:16:19 · 1724 阅读 · 0 评论 -
Spark-NettyBlockTransferService、NettyBlockRpcServer、OneForOneBlockFetcher 源码解析
Spark-NettyBlockTransferService、NettyBlockRpcServer、OneForOneBlockFetcher 源码解析class NettyBlockTransferServiceclass NettyBlockRpcServerOneForOneBlockFetcherclass NettyBlockTransferService这个类的主要目的是 和其...原创 2020-03-06 16:26:27 · 582 阅读 · 0 评论 -
Spark-BlockManagerMaster、BlockManagerMasterEndpoint 源码解析
Spark-BlockManagerMaster、BlockManagerMasterEndpoint 源码解析abstract class BlockIdobject BlockIdRDDBlockIdShuffleBlockIdShuffleDataBlockIdShuffleIndexBlockIdBroadcastBlockIdTaskResultBlockIdStreamBlockIdT...原创 2020-02-21 14:08:01 · 826 阅读 · 0 评论 -
Spark-LiveListenerBus 消息总线 源码解析
Spark-LiveListenerBus 源码解析LiveListenerBusclass LiveListenerBusobject LiveListenerBusLiveListenerBusMetricsAsyncEventQueueclass AsyncEventQueueobject AsyncEventQueueSparkListenerBusListenerBusSparkCont...原创 2020-02-17 15:22:52 · 419 阅读 · 0 评论 -
Spark-MapOutputTracker 源码解析
Spark-MapOutputTracker 源码解析MapOutputTrackerMasterMapOutputTrackerWorkerabstract MapOutputTrackerclass ShuffleStatusMapOutputTracker 一共有2种类型,一个是MapOutputTrackerMaster,另一个是MapOutputTrackerWorker。MapOu...原创 2020-02-06 19:51:52 · 378 阅读 · 0 评论 -
Spark-MemoryManager、StorageMemoryPool源码解析
Spark-MemoryManager、StorageMemoryPool源码解析UnifiedMemoryManager objectUnifiedMemoryManager classabstract MemoryManagerExecutionMemoryPoolStorageMemoryPoolabstract MemoryPoolSpark的内存管理有2个版本,一个是1.6以前的S...原创 2020-01-20 11:39:41 · 175 阅读 · 0 评论 -
Spark-SerializerManager&JavaSerializer&KryoSerializer 源码解析
Spark-SerializerManager&JavaSerializer&KryoSerializer 源码解析abstract class SerializerJavaSerializerKryoSerializerabstract class SerializerInstanceJavaSerializerInstanceKryoSerializerInstanceabst...原创 2020-01-07 09:37:05 · 189 阅读 · 0 评论 -
Spark - RpcEnv Object&abstract class RpcEnv&RpcEnvConfig&NettyRpcEnv class object 源码解析
Spark - RpcEnv Object &abstract class RpcEnv & RpcEnvConfig & NettyRpcEnv class object 源码解析object RpcEnvobject RpcEnv这个伴生对象只有2个方法,都是返回一个RpcEnv的实例:def create( name: String, //别称 ...原创 2019-12-23 22:38:54 · 103 阅读 · 0 评论 -
Spark - Inbox & InboxMessage & Dispatcher&RequestMessage&Outbox&OutboxMessage源码解析
Spark-Inbox & InboxMessage 源码解析trait InboxMessagecase class OneWayMessagecase class RpcMessagecase object OnStartcase object OnStopcase class RemoteProcessConnectedcase class RemoteProcessDisconne...原创 2019-12-13 17:23:35 · 455 阅读 · 0 评论 -
Spark-SparkEnv 源码解析
Spark-SparkEnv 源码解析SparkEnv ObjectSparkEnv Object属性SparkEnv Object方法create方法,比较重要的方法:SparkEnv ClassSparkEnv ObjectSparkEnv的伴生对象。下面是他的构造方法:SparkEnv Object属性@volatile private var env: SparkEnv = _ ...原创 2019-12-09 20:13:07 · 146 阅读 · 0 评论 -
Spark- ApplicationMaster Class& ApplicationMaster Object即Spark AppMaster ,executor的启动源码解析
Spark- ApplicationMaster Class& ApplicationMaster Object即Spark AppMaster 源码解析Object ApplicationMasterClass ApplicationMasterObject ApplicationMaster这个类是ApplicationMaster的伴生对象,当在yarn里面启动AppMaster...原创 2019-12-03 17:43:34 · 1233 阅读 · 1 评论 -
Spark spark-submit提交Job流程 解读
Spark-spark-submit提交Job流程 解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilder构造方法buildCommandOptionParser本篇博文详细讲讲spark-submit提交Job流程。spark-submit spark...原创 2019-11-29 18:09:43 · 2334 阅读 · 0 评论 -
Spark config配置项 一览
Spark config配置项 一览env配置env配置SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-submit 提交job的时候是否打印LaunchCommand原创 2019-11-29 16:52:24 · 4882 阅读 · 0 评论 -
Spark-SparkSession.Builder 源码解析
Spark-SparkSession.Builder 源码解析class BuilderSparkSessionExtensionsclass Builder这个类主要用来builder SparkSession有以下的属性:1.private[this] val options = new scala.collection.mutable.HashMap[String, String];...原创 2019-11-22 14:11:30 · 5364 阅读 · 0 评论 -
Spark源码-SparkConf(scala)
Spark源码-SparkConf SparkConf ClassSparkConf objectConfigProviderEnvProviderSystemProviderMapProviderSparkConfigProviderConfigReader class objectConfigReader objectConfigReader class这个类的目的是配置用户运行时的一些配置...原创 2019-11-13 15:44:41 · 371 阅读 · 0 评论 -
Spark源码-StaticSQLConf (scala)
Spark-scala 源码-StaticSQLConf StaticSQLConf源码阅读StaticSQLConf ObjectSQLConf Object&classConfigBuilder case classTypedConfigBuilder classConfigEntry abstract classStaticSQLConf源码阅读StaticSQLConf Obj...原创 2019-11-12 19:15:55 · 301 阅读 · 0 评论