Spark2
chixushuchu
这个作者很懒,什么都没留下…
展开
-
Spark 性能调优
主要总结自Spark编程指南 一间接调节 二直接调节原创 2020-03-25 16:05:43 · 116 阅读 · 0 评论 -
spark 程序配置日志级别 通过log4j
spark 如何配置日志打印级别 Log4j.properties文件 1、spark自身的打印级别 首先明白如何设置spark本身的日志级别 Edit yourconf/log4j.propertiesfile and change the following line: log4j.rootCategory=INFO, console to log4j.rootCateg...原创 2019-11-11 11:10:59 · 1230 阅读 · 0 评论 -
Spark 性能调优 从配置 以及代码层面 综合调优
前言 调优之前 调优大致方向 1 Indirect Performance Enhancements 间接 1 Design Choices 1 Scala Versus Java Versus Python Versus R 2 DataFrame Versus SQL versus Datasets versus RDDS 2 Object Serialization in...原创 2019-11-06 15:07:22 · 563 阅读 · 0 评论