spark Dataframe值转换,更新

有一个这样的需求,原来Dataframe存储如下

需要把gender中的值转换为自己想要的值,如
1-》男
2-》女
3-》未知
“”->空值

关键代码如下:

//值映射函数
val valueMappingFun = (columnValue: String) => {
    val xValue = if (CheckUtil.isEmpty(columnValue)) "" else columnValue.toString.trim
    //switch_map 值映射map
    if (switch_map.getOrElse(xValue, null) == null) switch_map.get(otherKey).mkString else switch_map.get(xValue).mkString

  }
  //创建spark,functions udf函数
  //import implicit DF,DS,不是包下面的类,而是某一个变量值
  import spark.implicits._
  val custUdf = udf(valueMappingFun)

//主要处理方法
  def mapping(df: DataFrame): DataFrame = {
	 spark.sparkContext.broadcast(switch_map)
    spark.sparkContext.broadcast(otherKey)
    val resultDf = df.withColumn(columnCode, custUdf($"${columnCode}"))
    resultDf .show()
    resultDf
}

结果如下:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值