spark 将一列的值赋值给另外一列

Spark将一列的值赋值给另外一列

如果有如下数据:
在这里插入图片描述
我要使col1 =col2,得到如下的结果:
在这里插入图片描述
在sparkR里面只需要 df$col1 = df$col2就可以实现了,那么在scala里面没有这样的方式,我要如何去实现呢。我搜索了很多次,问了很多群,没有啥简易的操作,于是我最后写下了这样的实现:

如评论区所说

使用withColumn可以快速的将这个列赋值到另外一列,以下 的内容是我入门时候写的。不用做参考了。
在这里插入图片描述

实现代码:
  • 关键的函数
  def col1SetValueToCol2(spark:SparkSession,table:DataFrame,setValueColName:String,getValueColName:String):DataFrame={

    val changeDataFrame: DataFrame = table.drop(setValueColName).withColumn(setValueColName, table.col(getValueColName))
    val resDataFrame: DataFrame &
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值