使用Python UDF在Spark中会导致数据在JVM和Python之间进行序列化和反序列化，造成性能下降。相比之下，Scala UDF直接在JVM中运行，避免了额外的序列化开销，提高处理效率。因此，推荐在Spark中优先考虑使用Scala定义UDF。
虽然在Pyspark中，驱动程序是一个python进程，但是它创建的SparkSession对象以及其他DataFrames或者RDDs等都是利用Python封装过的 JVM对象 。简单地说，虽然控制程序是Python，但它实际上是python代码告诉集群上的分布式Scala程序该做什么。 数据存储在JVM的内存中，并由Scala代码进行转换。
将这些对象从JVM内存中取出并将它们转换为Python可以读取的形式（称为序列化和反序列化）的过程开销是很大的。
一般情况下，将计算结果收集回Python驱动程序通常针对低容量样本，并且不经常进行，因此这种开销相对不被注意。
但是，如果程序在集群中的对整个数据集的Python和JVM对象之间来回转换时，性能将会受到显著影响。
 |
在上图中，Python程序的指令（1）被转换为Spark执行计划，并通过SparkSession JVM对象（2）传递给集群中不同机器上的两个执行程序（3）。 执行
最低0.47元/天 解锁文章
扫一扫
607
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
