- 博客(4)
- 收藏
- 关注
原创 Spark SQL自定义聚合函数(强类型)
自定义Spark SQL自定义聚合函数(强类型 基于DataSet)弱类型聚合函数的构建见https://blog.csdn.net/qq_41519227/article/details/95210494主要有以下几点:1、继承Aggregator (import org.apache.spark.sql.expressions.Aggregator )具体详解见下方代码2、函数的使用...
2019-07-09 18:32:06 586
原创 Spark SQL自定义聚合函数(弱类型)
Spark SQL的自定义聚合函数UDAF的使用用户自定义UDAF聚合函数需要实现以下两个步骤:1、弱类型聚合函数继承UserDefinedAggregateFunction2、注册为函数:ss.udf.register(“avgCus”, new CusAvgFun)package SparkSQLimport org.apache.spark.sql.expressions.{...
2019-07-09 16:57:06 368
原创 spark的RDD编程(常用的Transformation(算子))
spark中的RDD编程之常用的Transformation(算子)RDD是什么RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中,对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。在Spark中,RDD被表示为对象,通...
2018-12-03 17:58:37 586
原创 spark的安装和部署
spark学习一、spark的安装1 官网下载spark-hadoop的版本的tar包spark-2.3.1-bin-hadoop2.7.tgz2 上传如我自己的上传到linux的/opt/software目录下,然后tar -zxvf tar包 -C 指定目录下3 在/etc/profile中配置环境变量 export SPARK_HOME=/opt/app/sp...
2018-11-28 22:30:40 493 1
JavaFX+阿里云的智能视觉平台+maven
2023-08-16
基于阿里云人脸人体识别的Java项目代码()
2023-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人