- 博客(4)
- 收藏
- 关注
原创 SparkSQL自定义UDAF
什么是UDAF?用户自定义的聚合函数 (User Defined Aggregation Function, UDAF),从定义中的 Aggregation 可以看出,UDAF是自定义的聚合函数,可以对DataFrame中的各组数据聚合成一条数据。一个 UDAF 维护一个聚合缓冲区来存储每组输入数据的中间结果。 它为每个输入行更新 此缓冲区, 一旦处理完所有输入行, 基于该聚合缓冲区的值返回结果。创建SparkSQL UDAF 函数一个 UDAF 继承了父类 UserDefinedAggregateF
2022-04-13 18:50:41 392
原创 java 参数传递类型的判定
什么是值传递:对形参的修改不会影响到实参。什么是引用传递:对形参的修改会影响到实参。基本数据类型的参数传递public static void main(String[] args) { int a = 8; f(a); System.out.println("实参:" + a);}public static void f(int a) { a = 16; System.out.println("形参:" + a);}打印结果形参:16实参:
2022-04-05 23:11:25 1142
原创 Kafka 异常 : DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit faile
Kafka 异常 : DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit failed异常详情:ConsumerCoordinator$DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit failed.org.apache.kafka.clients.consumer.Co
2022-04-02 14:53:35 2336
原创 Spark Key-Value 聚合类算子解析
Spark Key-Value 聚合类算子解析1. combineByKey() 算子Spark 所有聚合算子都是在 combineByKeyWithClassTag 的基础上实现的,combineByKey 是Spark的一个最通用的聚合算子。def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C
2022-04-01 20:12:16 2017
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人