![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
YrzDemo
这个作者很懒,什么都没留下…
展开
-
Spark源码研读 SparkConf
Spark源码研读-散篇记录(一):SparkConf0 关于散篇记录散篇记录就是,我自己觉得有需要记录一下以方便后来查找的内容,就记录下来。1 Spark版本Spark 2.1.0。2 说明源码过程中所涉及的许多Scala的知识,完全可以参考之前Scala的笔记文章,应该来说确实很多知识内容都涉及到了。3 SparkConf源码SparkConf的源码相对不难,主要是对Spark本身要有所理解,同时Scala也应该要有所掌握,那么看起来就不太复杂,只看了比.转载 2020-05-27 16:14:47 · 376 阅读 · 0 评论 -
spark history 日志清理功能
cm 上spark history参数配置spark.history.fs.cleaner.enabled=truespark.history.fs.cleaner.interval=86400spark.history.fs.cleaner.maxAge=604800spark.history.fs.update.interval.seconds=10spark.history.retainedApplications=50spark.history.ui.admin.acls=spar.原创 2020-05-27 16:11:42 · 1629 阅读 · 0 评论 -
spark性能优化:高级篇(数据倾斜调优,shuffle调优)(转载)
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证...转载 2020-04-10 15:01:41 · 162 阅读 · 0 评论