如何在pyspark的udf中传入数据参数
如何在pyspark的udf中传入数据参数问题定义解决方案问题定义我希望在pyspark中使用withColumn函数对dataframe的某一列进行udf操作,需要传入一个字典,形如:def func_is_holiday(holiday_dict,date): return holiday_dict[date]df = df.withColumn("is_holiday", fun...
原创
2019-01-16 18:34:06 ·
5945 阅读 ·
1 评论