spark java seq_Spark Dataframe join中用到Scala Seq提示没有序列化?

我在java spark-sql中想使用dataframe的多字段join功能,看了一下该接口如果要多字段join的话需要传入一个usingColumns.

public org.apache.spark.sql.DataFrame join(org.apache.spark.sql.DataFrame right, scala.collection.Seq usingColumns, java.lang.String joinType)

所以我自己在java中将List转成了Scala的Seq,代码如下

List tmp = Arrays.asList(

ColumnUtil.PRODUCT_COLUMN,

ColumnUtil.EVENT_ID_COLUMN

);

scala.collection.Seq usingColumns = JavaConverters.asScalaIteratorConverter(tmp.iterator()).asScala().toSeq();

DataFrame unionDf = uvDataframe.join(deviceUvDataframe, usingColumns, "inner");

结果最后在执行join的时候报错

Caused by: java.io.NotSerializableException: java.util.AbstractList$Itr

Serialization stack:

at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)

at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)

at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:101)

at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:301)

... 49 more

我测试过以下两种接口都可以正常join,就只有这种多字段join会出现没有序列化的问题,请问各位有可以解决的办法吗?

public org.apache.spark.sql.DataFrame join(org.apache.spark.sql.DataFrame right)

public org.apache.spark.sql.DataFrame join(org.apache.spark.sql.DataFrame right, java.lang.String usingColumn)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值