java2个dataframe合并_pyspark编程对如下两个dataframe进行查询操作，如何提高效率?...

1、有两个DataFrame：df1，df2都有共同的字段ACCTNO，df1中每行的ACCTNO字段唯一，需要遍历df1中的ACCTNO字段，并根据这些ACCTNO字段查询df2中对应的数据。

2、代码如下

`

def get_acctre(part,df2):

for raw in part:

ACCTNO = list(raw)[0]

acct_df = df2.filter("ACCTNO ='"+ACCTNO+"'")

df1.foreachPartition(lambda part:get_acctre(part,df2))

`

3、根据分析，发现把df2作为get_acctre()的参数就会报如下错误

PicklingError: Could not serialize object: Py4JError: An error occurred while calling o624.__getnewargs__. Trace:

py4j.Py4JException: Method __getnewargs__([]) does not exist

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)

at py4j.Gateway.invoke(Gateway.java:272)

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)

at py4j.commands.CallCommand.execute(CallCommand.java:79)

at py4j.GatewayConnection.run(GatewayConnection.java:214)

at java.lang.Thread.run(Thread.java:745)

4、由于df2不能作为参数传入函数get_acctre，如何才能高效率实现目的呢？才接触spark编程，还不熟悉相关函数，希望有大佬指点一二