pySpark创建空DataFrame

                              pySpark创建空DataFrame

有时候需要在迭代的过程中将多个dataframe进行合并（union），这时候需要一个空的初始dataframe。创建空dataframe可以通过spark.createDataFrame()方法来创建：

# 先定义dataframe各列的数据类型
from pyspark.sql.types import *
schema = StructType([
        StructField("a", IntegerType(), True),
        StructField("b", IntegerType(), True),
        StructField("c", IntegerType(), True)])

# 通过定义好的dataframe的schema来创建空dataframe
df1 = spark.createDataFrame(spark.sparkContext.emptyRDD(), schema)

df2 = sc.parallelize([(4,5,6)]).toDF(['a','b','c'])

df1.union(df2).show()
+---+---+---+
|  a|  b|  c|
+---+---+---+
|  4|  5|  6|
+---+---+---+

通过上面的方法可以创建指定列名和数据类型的dataframe。但是有时候我们需要创建的dataframe的数据结构是跟某个dataframe结构是相同的，而这个结构有非常复杂，难以直接创建，这时候就可以直接使用已有的dataframe的schema来创建新的dataframe了：

df3 = spark.createDataFrame(spark.sparkContext.emptyRDD(), df2.schema)
df3.union(df2).show()
+---+---+---+
|  a|  b|  c|
+---+---+---+
|  4|  5|  6|
+---+---+---+

from pyspark.sql import HiveContext, SQLContext, SparkSession
# 创建空dataframe, for union
    schema = StructType([
        StructField("request_id", StringType(), True),
        StructField("strategy_id", StringType(), True),
        StructField("degree", FloatType(), True)])
    sqlContext = SQLContext(spark_context)
    df_one = sqlContext.createDataFrame(spark_context.emptyRDD(), schema)

参考：
https://stackoverflow.com/questions/54503014/how-to-get-the-schema-definition-from-a-dataframe-in-pyspark