![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
BoomLee
RHCE认证,AWS SAP 认证,大数据工程师,从事医疗大数据行业
展开
-
Spark Shuffle 分析
1.Shuffle原理 目录 1.Shuffle原理 1.1概述 1.1.1 Map task端操作 1.1.2 Reduce task端操作 1.1.3SparkShuffle 2.1 Spark Shuffle的实现 2.2Shuffle的写操作 2.2.1基于 Hash的Shuffle写操作 2.2.2基于排序的 Shuffle写操作 ...原创 2020-04-27 22:53:50 · 311 阅读 · 0 评论 -
Spark:no configuration setting found for key akka 问题解决
问题描述 Caused by: com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka' at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124) at...原创 2018-11-06 17:00:51 · 3478 阅读 · 1 评论