Spark SQL
文章平均质量分 89
数仓白菜白
一个未来的数仓架构师
展开
-
Spark Sql之扁平化嵌套结构列
因为有她,所有我要走的更远,更久前言:之前的博客中也有一些关于嵌套列的讲解。不过当时的嵌套列普遍只嵌套了一列。但是解决的做法是什么?数据集中含有一层嵌套列,通过StructType创建schema映射。创建dataFrame的时候将数据集和schema字段映射一起创建。就是上面的流程,不过在创建schema字段映射的时候,对于之前的嵌套字段,也仅仅只是多了一个new StructType().add就可以将嵌套的一级字段...原创 2022-03-10 22:16:37 · 3248 阅读 · 4 评论 -
Spark Sql中的Map和flatMap
和她在一起的每一天都很快乐map() 将一个函数应用于DataFrame和DataSet中的每一行并返回新的转换后的DataSet。并不会返回DataFrame,返回的是DataSet[类型].flatMap()在对每个元素应用函数之后,flatMap会将数据转换成数据帧/数据集展平,并且返回一个新的数据集。关键点1.map()和flatMap()返回的都是DataSet(DataFrame=DataSet[Row])2...原创 2022-03-08 22:23:24 · 7085 阅读 · 4 评论 -
Spark Sql中的group by语句
每天都在和你在一起Spark Group By函数将相同的数据收集到DataFrame/DataSet上的组,并对分组后的数据执行聚合函数。count() 返回每个组的行数 mean() 返回每个组的平均值 max() 返回每个组的最大值 min() 返回每个组的最小值 sum() 返回每个组的值的总计 avg() 返回每个组的平均值使用agg函数,可以一次进行多次聚合运算创建DataFrameval data = Seq(("Ja...原创 2022-03-07 22:08:19 · 5733 阅读 · 0 评论 -
Spark SQL中collect对数据的检索
每天都在努力的我,每天都在努力的你,总有一天我们会相见Spark collect和collectAsList是用于将RDD/DataFrame/DataSet的所有元素检索到驱动程序节点的操作。如果数据集较大,使用collect之后可能会导致内存不足val data = Seq(Row(Row("James","","Smith"),"36636","M",3000), Row(Row("Michael","Rose",""),"40288","M",4000), Ro...原创 2022-03-06 18:05:50 · 2307 阅读 · 0 评论 -
Spark SQL中的条件筛选以及case when表达
Spark SQL中的过滤以及case when的用法原创 2022-03-06 15:36:38 · 7795 阅读 · 0 评论 -
基于Spark的音乐专辑数据分析
基于Spark的音乐专辑大数据分析原创 2022-03-04 21:29:24 · 5404 阅读 · 35 评论 -
基于Scala版本的TMDB大数据电影分析项目
tmdb大数据电影分析原创 2022-03-03 12:04:44 · 1666 阅读 · 5 评论 -
Spark Sql对列的操作
SQL写得好,工作随便找本篇博客讲的是关于Spark SQL中对于列的操作。在SQL中对列的操作有起别名,转化类型等在Spark SQL中同样也支持,下面来看一看把Spark withColumn()语法和用法withColumn用于操作DataFrame上所有行或选定行的列值withCplumn执行之后,会产生一个新的DataFrametips:如果用withColumn同时更新多个列的情况下,可能会有性能问题...原创 2022-03-01 15:27:11 · 5809 阅读 · 2 评论 -
Spark SQL中StructField和StructType
Spark SQL中的StructType以及StructField原创 2022-02-28 15:42:36 · 7903 阅读 · 0 评论 -
SparkSQL 选择列
Spark SQL中对列的选择原创 2022-02-28 10:28:44 · 1588 阅读 · 1 评论 -
Spark SQL学习第二弹
Spark SQL的第二弹知识点来啦原创 2022-02-13 20:00:53 · 1076 阅读 · 1 评论 -
Spark SQL追妻系列(初了解)
Spark Sql学习路上的灯塔原创 2022-02-12 20:10:21 · 839 阅读 · 0 评论