pyspark 小知识——自定义聚合函数UDAF：使用pyspark分组计算AUC

lanyuelvyun

已于 2022-10-08 11:42:50 修改

阅读量5.7k

点赞数 4

分类专栏： # Python # pyspark 文章标签： spark python

于 2020-10-23 16:23:43 首次发布

本文链接：https://blog.csdn.net/lanyuelvyun/article/details/109244033

版权

本文介绍了在pyspark中如何利用自定义函数(UDF)来实现类似自定义聚合函数(UDAF)的效果，特别是在计算AUC场景下。由于pyspark官方未提供直接计算AUC的聚合函数，作者分享了在金融场景中，如何通过UDF按时间分组计算模型性能的AUC，并提到了这种方式在小数据量下是可行的，但效率可能不如真正的UDAF。

摘要由CSDN通过智能技术生成

在pyspark中，自定义聚合函数UDAF，在实现上有些困难，但是我们可以用另外一种方法实现同样的功能：利用自定义函数UDF，实现自定义聚合函数UDAF的功能（PS：虽然能实现同样的功能，但速度上可能不及真正的UDAF，但是小数据量没问题）。

在网上搜寻资料的时候，发现关于这方面的资料非常少，并且pyspark UDF在使用上还是有很多坑的，现将自己的使用心得和详细的注意事项记录下来，供大家参考。

使用场景示例：
金融场景中，在对信用模型进行效果分析的时候，需要查看该模型分在各个月份上的性能，具体操作是：使用时间进行分组，然后求各个分组内，该模型分的AUC。

解决办法：由于在pyspark中，没有现成的用于计算AUC的聚合函数，所以需要自己定义。但是自定义聚合函数又比较困难，我们用另一种方式实现该功能。代码如下：

from pyspark.sql import SparkSession # SparkConf、SparkContext 和 SQLContext 都已经被封装在 SparkSession 
from pyspark.sql import functions as F 
from pyspark.sql import Window
from pyspark.sql import Row