![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Spark的原理架构、基本操作、问题收集
Felix不会飞
凡事预则立,不预则废
展开
-
import spark.implicit._引入后立刻消失
目录项目场景:问题描述:原因分析:解决方案:问题描述,我的代码中项目场景:提示:这里简述项目相关背景:例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)问题描述:声明了spark的上下文环境,不同于网上描述的spark的对象未定义的错误// 创建spark的上下文环境val spark = SparkSession.builder() .appName("Implicit_Rela...原创 2021-07-20 14:30:33 · 528 阅读 · 1 评论 -
dataframe使用分组聚合重命名遇到的问题
问题描述:dataframe使用分组聚合的时候,无法对聚合列进行重命名解决方式:引入一个包:import org.apache.spark.sql.functions._正确示例:import org.apache.spark.sql.functions._ val result = multi_family_relation_1.toDF().groupBy("grantparent_uuid") .agg(count("grantson_uuid").as("kk")..原创 2020-11-22 13:43:44 · 756 阅读 · 0 评论