Spark
文章平均质量分 73
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
Spark3每个job之间任务间隔过长
Spark每个job之间任务间隔过长优化经历原创 2023-02-20 11:04:56 · 934 阅读 · 0 评论 -
根据Sparklens优化参数(图文解释)
前言如何使用Sparklens已经发给大家了传送门,那么如何根据生成的图去判断如何优化参数呢?如何判断数据倾斜该优化呢?参数优化1、如何设置executor 核数可以参考这个,如果浪费太多就减少一点。2、如何设置executor 内存查看发现这个峰值其实并不高。所以根据这个峰值来算。2~5倍最合适。当然可以看后端的解析日志,有提示。比如下面这个。在executor数量不变的情况下,提示给1.4G最合适。3、如何设置executor 数量设置不同的数量预计...原创 2022-01-21 13:04:49 · 1734 阅读 · 3 评论 -
Spark优化工具:Sparklens实操
Spark优化工具-Sparklens实操,2022年最新测试且通过。针对网络隔离的集群,手把手教你如何编译,使用。原创 2022-01-11 15:10:40 · 4026 阅读 · 7 评论 -
Spark多版本共存
前言我们公司用的是Spark2.3.2,但是现在测试DeltaLake又需要用到Spark3.0,所以在当前集群做多个Spark版本共存。一、下载下载当然是要去Spark官网下载咯。自己选择对应的版本下载。当然,如果没有对应的版本,就需要自己下载源码,更改版本然后重新进行编译。1、下载$ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz 2、解压,路径为/data/sof原创 2021-02-04 18:56:46 · 1993 阅读 · 6 评论