PySpark与Java/Scala交互中的一些常用的Spark对象

前言

在PySpark中调用Scala/Java代码时，我们会遇到一些负载的对象需要传递，例如一些spark对象。在环境之间(Python / Java)传递时，我们必须将Spark对象显式地包装/提取到java对象中。
下面是一些常用的Spark对象。

一些常用的Spark对象

SparkContext

如果你的Scala代码需要访问SparkContext(sc)，则你的python代码必须传递sc._jsc，并且Scala方法应该接收JavaSparkContext参数并将其解压缩到Scala SparkContext。

import org.apache.spark.api.java.JavaSparkContext

def method(jsc: JavaSparkContext) = {
    val sc = JavaSparkContext.toSparkContext(jsc)
}

SQLContext

对于SQLContext，我们可以通过发送sqlContext._ssql_ctx从python传递Scala SQLContext。 它可以直接在Scala端使用。

RDDS

你可以通过rdd._jrdd将它们从Python传递到Scala。 在Scala端，可以通过访问jrdd.rdd来提取JavaRDD(jrdd)。 而将它转换回Python时，我们可以使用：

from pyspark.rdd import RDD

pythonRDD = RDD(jrdd, sc)

DataFrames

要从python发送DataFrame(df)，必须传递df._jdf属性。 而将Scala DataFrame返回给python时，可以在python端转换为：

from pyspark.sql import DataFrame

pythonDf = DataFrame(jdf, sqlContext)

DataFrames也可以通过使用registerTempTable并通过sqlContext访问它们。

参考资料

Using Scala code in PySpark applications