- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 React基础知识汇总
目标任务: 能够理解什么是JSX，JSX的底层是什么概念：JSX是 JavaScript XML（HTML）的缩写，表示在 JS 代码中书写 HTML 结构作用：在React中创建HTML结构（页面UI结构）采用类似于HTML的语法，降低学习成本，会HTML就会JSX充分利用JS自身的可编程能力创建HTML结构。
2024-02-26 19:33:45
809
原创 Spark3.0新特性AQE DPP
在我们执⾏过程中转化为Broadcast Hash Join的同时，我们甚⾄可以将传统shuffle优化为本地shuffle(例如shuffle读在mapper⽽不是基于reducer)来减⼩⽹络开销。Spark ⽀持的许多 Join 策略中，Broadcast Hash Join通常是性能最好的，前提是参加 join 的。⼤⼩为15M，⽽在该场景下，经过filter过滤后，实际参与join的数据⼤⼩为8M，⼩于了默认。在我们处理的数据量级⾮常⼤时，shuffle通常来说是最影响性能的。
2024-02-23 10:26:35
660
1原创 Spark2.0源码阅读 事件总线
文章目录ListenerBusListenerBus的类继承体系SparkListenerBusSparkListenerInterfaceSparkListenerSparkListenerEventAsyncEventQueueLiveListenerBus的工作流程图ListenerBusprivate[spark] trait ListenerBus[L <: AnyRef, E] extends Logging { private[this] val listenersPlusTi
2022-05-17 15:43:00
137
原创 spark2.0源码阅读 剖析sparkConf
目录sparkConf存储结构克隆SparkConf配置sparkConf存储结构//通过安全的HashMap保存所有配置private val settings = new ConcurrentHashMap[String, String]()sparkConf会加载系统变量spark.打头的属性，具体实现如下//加载默认配置,loadDefaults默认为trueif (loadDefaults) { loadFromSystemProperties(false)}private
2022-05-12 10:04:36
140
原创 spark2.0源码阅读 剖析spark-shell
spark2.0源码阅读 1剖析spark-shell文章目录spark2.0源码阅读 1剖析spark-shellspark-shell脚本spark-submit脚本spark-class脚本总结spark-shell脚本function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/4
2022-05-05 21:49:16
969
原创 spark UI告知已为存储内存分配了956.6 MB，是怎么计算的
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的参数设置为spark.driver.memory=2gweb展示下过如下：spark1.6前后有两种不同的计算模型：静态内存模型:统一内存管理模型:官方计算公式：静态内存管理内存计算公式：ExecutionMemory = systemMemory * spark.shuffle.memoryFraction* spark.shuffle.safetyFraction= executor-memory*0.2*0.8
2020-12-17 10:55:20
466
大数据数仓建模.txt
2020-06-19
大数据面试-题库，知识点，流程图，面试技巧，简历编写
2020-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人