dataframe建一个空的,pySpark创建空DataFrame

有时候需要在迭代的过程中将多个dataframe进行合并(union)，这时候需要一个空的初始dataframe。创建空dataframe可以通过spark.createDataFrame()方法来创建：

# 先定义dataframe各列的数据类型

from pyspark.sql.types import *

schema = StructType([

StructField("a", IntegerType(), True),

StructField("b", IntegerType(), True),

StructField("c", IntegerType(), True)])

# 通过定义好的dataframe的schema来创建空dataframe

df1 = spark.createDataFrame(spark.sparkContext.emptyRDD(), schema)

df2 = sc.parallelize([(4,5,6)]).toDF(['a','b','c'])

df1.union(df2).show()

+---+---+---+

| a| b| c|

+---+---+---+

| 4| 5| 6|

+---+---+---+

通过上面的方法可以创建指定列名和数据类型的dataframe。但是有时候我们需要创建的dataframe的数据结构是跟某个dataframe结构是相同的，而这个结构有非常复杂，难以直接创建，这时候就可以直接使用已有的dataframe的schema来创建新的dataframe了：

df3 = spark.createDataFrame(spark.sparkContext.emptyRDD(), df2.schema)

df3.union(df2).show()

+---+---+---+

| a| b| c|

+---+---+---+

| 4| 5| 6|

+---+---+---+