1、Spark SQL框架对表格列的增删改
1、新增列
df.withColumn(“year”,year(col(“add_time”))).show
2、新增自增序号列
df.withColumn("id","monotonically_increasing_id()"+1).show
3、修改列的数值
df.withColumn(“op_phone”,“concat(lit("广东"),col(“op_phone”))”).show
2、自定义函数
UDF:接受一行的输入产生一行的输出
UDAF:接受多行输入产生一行输出,一般和group by组合来使用,但不是必须
3、开窗函数
row_number()
3.1 概念
在一个结果集上进行分组,在对分组后的值进行聚合等操作
调用格式:函数名OVER (PARTITION BY列名)
3.2举例
row_number()
实现分组取top N
row_number over(partition by 列名 order by 列名) rank
了解更多的大数据的知识,请关注公众号:架构师Plus