![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
chak_16
人永远是要学习的。死的时候,才是毕业的时候。
展开
-
spark 自定义排序
spark 自定义排序一、为什么要自定义排序?在spark中,利用rdd的sortBy函数进行排序,我们只能单一对某个元素,然而这并不能解决工作中的实际业务,所以今天整理一个简单自定义的排序,类解决这个问题。二、定义要素1、定义一个类,继承Ordered2、实现Serializable序列化3、重写compare方法三、上代码import org.apache.spark.{SparkConf, ...原创 2018-06-04 22:03:39 · 1071 阅读 · 0 评论 -
sparkRDD高级算子 combineByKey函数详解
combineByKey原创 2018-05-30 07:54:58 · 674 阅读 · 0 评论 -
spark streaming + kafka 找不到kafkaUtils类
maven构建streaming+kafka的项目问题:运行项目报找不到KafkaUtils类:(如下图)于是我打开idea但确实可以找到这个包下的KafkaUtils类,刚开始以为打包的问题,找半天都没错,上网说可能是scala和kafka版本的冲突,但是我检查了一遍都没问题,版本不冲突spark2.3、scala2.11、kafka0.10解决方式:1、去maven仓库找到KafkaUtils...原创 2018-07-03 07:51:38 · 9488 阅读 · 0 评论