spark使用withcolumn lit新增一常数列赋值为-1

最新推荐文章于 2024-04-17 11:16:28 发布

brianv5

最新推荐文章于 2024-04-17 11:16:28 发布

阅读量94

点赞数

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/beikewz/article/details/132999582

版权

该博客展示了如何在Scala中利用Spark DataFrame API进行数据操作，具体是将一个常量列添加到已有的DataFrame中。通过`withColumn`方法和`lit`函数，可以轻松地为DataFrame增加一个固定值的列，例如在这里将-999作为新列'bit'的值，并展示更新后的DataFrame。

摘要由CSDN通过智能技术生成

scala> val a = Seq(("a", 2),("b",3)).toDF("name","score")
a: org.apache.spark.sql.DataFrame = [name: string, score: int]

scala> a.show()
+----+-----+
|name|score|
+----+-----+
|   a|    2|
|   b|    3|
+----+-----+

scala> a.withColumn("bit", lit(-999)).show
+----+-----+----+
|name|score| bit|
+----+-----+----+
|   a|    2|-1|
|   b|    3|-1|
+----+-----+----+

https://stackoverflow.com/questions/32788322/how-to-add-a-constant-column-in-a-spark-dataframe