Spark
算法小白_gyl
这个作者很懒,什么都没留下…
展开
-
spark 资源优化之道
在spark job执行中,我们通常会遇到这样那样的奇怪问题。该节主要介绍开发部署中遇到的一些资源分配问题。 如:资源不足,资源分配过多,队列紧张等很多很多问题。 在工程实践中,我们都希望自己的job 能够以最快的速度,最优的流程执行,以提高我们效率。于是乎我们往往在spark job提交的配置脚本中配置的job的资源越多越好,这就带来的一个问题,集群资源有限,可用资源不能够满足大资源的job...原创 2018-07-31 20:18:50 · 212 阅读 · 0 评论 -
Spark 问题汇总
在大数据领域,spark 是一个比较受欢迎的大数据处理平台,但是由于数据量过大等一系列问题,造成任务执行不成功,现在总结个人在工程实践中遇到的一些个奇葩问题. 1.数据倾斜问题 现象: 1.可能会报资源不足,内存溢出 2.大部分task 均执行完,只有少数几个task始终在执行中 3. 2.Kyro 序列化问题 现象: 1.报异常: | org.apache.spark.SparkExcepti...原创 2019-06-05 17:57:50 · 522 阅读 · 0 评论