数据在Pandas，pyspark与hive中的相互转换

1. 从 PySpark DataFrame 创建 Pandas

在 Spark 上完成转换后，您可以使用toPandas()方法轻松地将其转换回 Pandas 。

#Convert PySpark to Pandas
pandasDF = pysparkDF.toPandas()

注意： toPandas()方法是将数据收集到 Spark Driver 内存中的操作，因此在处理大型数据集时必须非常小心。如果收集的数据不适合 Spark Driver 内存，您将收到 OutOfMemoryException。

2. 从 Pandas 创建 PySpark DataFrame

由于在多台机器上的所有内核上并行执行，PySpark 的运行速度比 Pandas 更快，因此我们经常需要将 Pandas DataFrame 转换为 PySpark（Spark with Python）以获得更好的性能。这是 Pandas 与 PySpark DataFrame 之间的主要区别之一。

#Create PySpark DataFrame from Pandas
Pydf_value=pandas_df.values.tolist()
Pydf_schema=list(pandas_df.columns)
pysparkDF2 = spark.createDataFrame(Pydf_value,Pydf_schema) 
pysparkDF2.printSchema()
pysparkDF2.show()

#注意 当pandas_df的记录数为0时，Pydf_schema无法通过判定pandas_df中数据类型来指定Pydf_schema中每个col的类型，这时候会报错，解决方法是指定Pydf_schema的类型

from pyspark.sql.types import *
cols=list(pandas_df.columns)
Pydf_schema=_schema1 = StructType([
    StructField(cols[0],IntegerType(),True),
    StructField(cols[1],IntegerType(),True),
    StructField(cols[2],StringType(),True),
    ……
    StructField(cols[n],StringType(),True)
])
pysparkDF2 = spark.createDataFrame(Pydf_value,Pydf_schema) 

3. 从 PySpark DataFrame转为hive可用SQl查询表

pysparkDF2.createTempTable('hivetablenametemp')
spark.sql('select * from hivetablenametemp')