![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark源码
文章平均质量分 67
better_mouse
这个作者很懒,什么都没留下…
展开
-
spark datasourceV1和v2
spark datasource原创 2023-02-27 14:49:59 · 608 阅读 · 1 评论 -
spark sql代码生成
spark sql 全代码生成原创 2022-10-25 19:07:16 · 1118 阅读 · 0 评论 -
spark shuffle 2 map和reduce
spark shuffleshuffle分为map阶段和reducer阶段ShuffleManager在driver和executor的sparkEnv中被创建.基于spark.shuffle.manager的设置.driver用它注册shuffle,executor(或在driver本地运行的任务)可以请求来读或写数据/** * Pluggable interface for shuf...原创 2019-06-24 21:48:11 · 260 阅读 · 0 评论 -
spark shuffle 1 相关类的了解
WritablePartitionedPairCollection每个kv对有一个分区,支持内存效率排序迭代器.插入分区,k,v返回迭代器Iterator[((Int, K), V)],/** * A common interface for size-tracking collections of key-value pairs that * * 为key-value对的s...原创 2019-06-24 20:43:43 · 159 阅读 · 0 评论 -
sparkshuffe 3
如何去看一个shuffle算子aggregatormapSideCombinekeyOrderingpartitionerreduceByKey有true无有groupByKey有false无有sortByKey无false有有repartitionAndSortWithinPartitions无false有有这个...原创 2019-06-25 11:17:33 · 206 阅读 · 0 评论 -
spark ListenerBus
spark ListenerBus系统中,常常需要异步处理监听事件.用监听器,可以解耦系统.ListenerBus 总是监听器总线.ListenerBus 类/** * An event bus which posts events to its listeners. * 事件总线 发送事件到监听器 */ //L 表示监听器, E表示传给监听器的事件.private[spar...原创 2019-04-25 13:01:02 · 216 阅读 · 0 评论 -
spark MapOutputTracker
MapOutputTracker 图MapOutputTracker保持追踪一个阶段map输出的位置的类.这个类是抽像的,因为driver和executor有不同的MapOutputTracker版本MapOutputTrackerMasterDriver-side的类,跟踪一个stage map输出的位置DAGScheduler用这个类来 注册/取消注册 map输出的状态,查看任务位...原创 2019-04-29 19:09:04 · 206 阅读 · 0 评论 -
spar 内存存储 MemoryStore
MemoryStorespark将内存中的block抽象为MemoryEntry//spark将内存中的block抽象为MemoryEntryprivate sealed trait MemoryEntry[T] { def size: Long//当前块的大小 def memoryMode: MemoryMode//block存入内存的内存模式 def classTag: Cl...原创 2019-05-03 00:41:40 · 377 阅读 · 0 评论 -
spark 存储之磁盘存储
spark 存储之磁盘存储spark的数据需要写到磁盘上,主要有两个类负责这个工作.DiskBlockManager和DiskStoreDiskBlockManagerCreates and maintains the logical mapping between logical blocks and physical on-disk locations. One block is map...原创 2019-05-02 16:42:47 · 1007 阅读 · 0 评论 -
spark 内存管理模型
MemoryManagerAn abstract memory manager that enforces how memory is shared between execution and storage. In this context, execution memory refers that used for computation in shuffles, joins, sorts ...原创 2019-05-02 02:13:23 · 277 阅读 · 0 评论 -
spark KVStore(web界面)
spark界面spark有一个web界面展示这个界面 是用 jetty做为后端展示的.KVStore是这些数据的存储.为什么会有kvStoreissue原创 2019-04-26 19:47:50 · 786 阅读 · 0 评论 -
sparkDag源码分析--生成
sparkDag源码分析–生成Dag生成 dag主要是通过rdd的各种转换生成,如下面rdd的map方法,会生成一个新的Rdd //返回一个新的rdd,通过应用一个函数到Rdd的所有元素 def map[U: ClassTag](f: T => U): RDD[U] = { val cleanF = sc.clean(f) new MapPar...原创 2018-03-14 19:55:32 · 558 阅读 · 0 评论