Spark数据处理实战之列空值&新增列处理

在spark dataset/dataframe操作过程中，我们经常会遇到对于一个列值的一些判断情况，是否为NULL，创建一个新列等，本文讲解了常用的增加列的方法，并且对于列空值判断，填充处理以及查询的api做了详细的描述和实例讲解，阅读完可以掌握列的处理相关方法。

增加列

Spark dataframe提供了withColumn函数来进行添加列或者替换列<指定的列名字跟之前的一样时候>，然后返回一个新的dataframe，添加列有以下几种方法：

1. 利用常量进行增加列，固定值

   import org.apache.spark.sql.functions.lit
   df.withColumn("new_column", lit(1)/lit("name"))  
   

2. 利用当前已有列变换新增

    df.withColumn("rsrp2", df("rsrp") * 2)
   

3. select增加列

   df.select(