![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
斜杆小刘
这个作者很懒,什么都没留下…
展开
-
SparkSQL源码解读1.6
总的流程入下:1.通过Sqlparse 转成unresolved Logicplan2.通过Analyzer转成 resolved Logicplan3.通过optimizer转成 optimzed Logicplan4.通过sparkplanner转成physical Logicplan5.通过prepareForExecution 转成executable logicplan...原创 2019-08-13 10:00:32 · 404 阅读 · 0 评论 -
Spark JDBC读取数据分区数源码跟踪
直接上读取oracle的代码, //读取Oracle数据 def readOracle(hiveContext: HiveContext, tableName : String /*,hzn_user : String,hznpassword : String*/): DataFrame ={ val url=props.getProperty("url") val u...原创 2019-08-28 11:35:01 · 1042 阅读 · 0 评论 -
spark内存管理源码解读(基于Spark1.6)
在初始化SparkEnv时,可以看spark1.6支持两种内存管理方式: StaticMemoryManager(静态内存管理)和UnifiedMemoryManager(统一内存管理),spark1.6之前默认的是静态内存管理,spark1.6之后默认的管理机制是统一内存管理。具体源码如下:// 1.6之前默认静态内存管理,1.6之后默认统一内存管理 val useLegacyM...原创 2019-09-18 19:25:19 · 274 阅读 · 0 评论