Spark
Spark基础
蜡笔小新儿
会修车的数据猿✌
展开
-
java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
我们在用SparkStreaming运行流式数据代码的时候可能会遇到jar包冲突的问题如下: 这个报错是由于jar包冲突导致的,只需要如下操作: 屏蔽掉kafka lz4版本即可,或者更换kafka版本原创 2020-06-15 23:15:23 · 1055 阅读 · 0 评论 -
Spark数据倾斜的七种解决方案(全)
RDD数据倾斜的解决方案1、什么是数据倾斜2、数据倾斜的表现3、如何确定数据倾斜的原因所在4、数据倾斜的解决方案方案一方案二方案三方案四方案五方案六方案七1、什么是数据倾斜 如上图所示,在执行shuffle操作时,会根据key进行value的聚合、拉取、输出。相同的key一定会分配到同一个分区内进行处理。如上图,同一个key的values,最后一定是分配到一个reduceTask进行处理的...原创 2020-04-30 00:00:29 · 1595 阅读 · 0 评论