- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark提交任务参数–executor-cores设置不起作用
问题分析与解决两个原因：1.配置不对其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator，那么DefaultResourceCalculator它在加载container时其实仅仅只会考虑内存而不考虑cores。所以，如果我们想让它既考虑内存也考虑cores的话，需要将$HADOOP_HOME/etc/hadoop/capacity-...
2019-10-27 23:35:25
1676
原创 HashMap转Json
<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.24</version></dependency>Map<String, Ob...
2019-10-17 17:26:00
459
原创 升级 spark 2.4问题：Spark Streaming日志级别设置，最小堆内存设置
一、内存问题1、旧集群spark 1.6.1jdk 1.7 或 1.8jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）2、新集群spark 2.4.1jdk 1.8jvm 堆内存...
2019-10-07 17:50:51
510
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人