![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关软件安装
文章平均质量分 79
浊酒倾壶
这个作者很懒,什么都没留下…
展开
-
spark的安装和部署
spark学习 一、spark的安装 1 官网下载 spark-hadoop的版本的tar包spark-2.3.1-bin-hadoop2.7.tgz 2 上传 如我自己的上传到linux的/opt/software目录下,然后tar -zxvf tar包 -C 指定目录下 3 在/etc/profile中配置环境变量 export SPARK_HOME=/opt/app/sp...原创 2018-11-28 22:30:40 · 461 阅读 · 1 评论 -
Spark SQL自定义聚合函数(弱类型)
Spark SQL的自定义聚合函数 UDAF的使用 用户自定义UDAF聚合函数需要实现以下两个步骤: 1、弱类型聚合函数 继承UserDefinedAggregateFunction 2、注册为函数:ss.udf.register(“avgCus”, new CusAvgFun) package SparkSQL import org.apache.spark.sql.expressions.{...原创 2019-07-09 16:57:06 · 346 阅读 · 0 评论