org.apache.spark.SparkException: Items in a transaction must be unique but got WrappedArray()

最新推荐文章于 2021-02-03 07:47:25 发布

cccccccoding

最新推荐文章于 2021-02-03 07:47:25 发布

阅读量688

点赞数

分类专栏：工具文章标签： pyspark 频繁项

本文链接：https://blog.csdn.net/qq_34680047/article/details/95960613

版权

7 篇文章 0 订阅

订阅专栏

先看报错：
在这里插入图片描述
再看代码：

from pyspark.ml.fpm import FPGrowth
fp = FPGrowth(minSupport=0.005, minConfidence=0.5,itemsCol="items")
fpm = fp.fit(freqDf)
fpm.freqItemsets.show(5)

报错原因：Array中不能出现重复值，这里-1出现了很多次。
解决方法：我这遇到的每列的数据都是不同的，-1只是代表是空值。
所以我只要保证数据中不为空就行，如果你遇到两列值可能相同的情况，
做一些预处理，保证不会一致就行。
参考：https://datascience.stackexchange.com/questions/13701/items-in-a-transaction-must-be-unique-but-got-wrappedarray

关注