在spark dataset/dataframe操作过程中,我们经常会遇到对于一个列值的一些判断情况,是否为NULL,创建一个新列等,本文讲解了常用的增加列的方法,并且对于列空值判断,填充处理以及查询的api做了详细的描述和实例讲解,阅读完可以掌握列的处理相关方法。
增加列
Spark dataframe提供了withColumn函数来进行添加列或者替换列<指定的列名字跟之前的一样时候>,然后返回一个新的dataframe,添加列有以下几种方法:
-
利用常量进行增加列,固定值
import org.apache.spark.sql.functions.lit df.withColumn("new_column", lit(1)/lit("name"))
-
利用当前已有列变换新增
df.withColumn("rsrp2", df("rsrp") * 2)
-
select增加列
df.select(