python spark dataframe删除字段_Python-如何在Spark DataFrame中添加常量列？

小编典典

Spark 2.2+

Spark 2.2引入typedLit了support Seq，Map和Tuples(SPARK-19254)，并且应该支持以下调用(Scala)：

import org.apache.spark.sql.functions.typedLit

df.withColumn("some_array", typedLit(Seq(1, 2, 3)))

df.withColumn("some_struct", typedLit(("foo", 1, .0.3)))

df.withColumn("some_map", typedLit(Map("key1" -> 1, "key2" -> 2)))

星火1.3+(lit)，1.4+(array，struct)，2.0+(map)：

的第二个参数DataFrame.withColumn应该是a，Column因此你必须使用文字：

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

如果你需要复杂的列，则可以使用以下代码块构建这些列array：

from pyspark.sql.functions import array, create_map, struct

df.withColumn("some_array", array(lit(1), lit(2), lit(3)))

df.withColumn("some_struct", struct(lit("foo"), lit(1), lit(.3)))

df.withColumn("some_map", create_map(lit("key1"), lit(1), lit("key2"), lit(2)))

可以在Scala中使用完全相同的方法。

import org.apache.spark.sql.functions.{array, lit, map, struct}

df.withColumn("new_column", lit(10))

df.withColumn("map", map(lit("key1"), lit(1), lit("key2"), lit(2)))

为了提供名称structs或者使用alias上的每个字段：

df.withColumn(

"some_struct",

struct(lit("foo").alias("x"), lit(1).alias("y"), lit(0.3).alias("z"))

)

或cast整个对象

df.withColumn(

"some_struct",

struct(lit("foo"), lit(1), lit(0.3)).cast("struct")

)

尽管较慢，也可以使用UDF。

注意事项：

可以使用相同的构造将常量参数传递给UDF或SQL函数。

2020-02-21