pyspark 使用广播变量进行大表和小表join

最新推荐文章于 2023-03-02 23:43:49 发布

Lu_Xiao_Yue

最新推荐文章于 2023-03-02 23:43:49 发布

阅读量1.5k

点赞数 1

本文链接：https://blog.csdn.net/lu_xiao_yue/article/details/119784352

版权

本文介绍了如何在PySpark中利用广播变量提高大表与小表Join操作的效率。通过将小表广播到每个节点，减少shuffle过程，从而提升大数据处理的性能。同时，还讨论了广播变量的更新策略。

摘要由CSDN通过智能技术生成

pyspark 大表和小表join,使用广播变量，并对广播变量更新

from pyspark import SparkConf, SparkContext, SQLContext

# import org.apache.spark.sql.functions.broadcast
# 给定节点，根据其信息进行扩展，找到各个层级扩展的节点。
# df_edges_all：全部的（边）[source,target,xxx,xx]，loop_nodes:[nodes]，loop_num ：循环次数, sqlContext: SqlContext的实例
def extend_fun(sc,sqlContext, df_edges_all,loop_nodes, loop_num):
    # loop_nodes = ""
    # 进行注册
    df_edges_all.createTempView("nodes_edges_all")
    loop_nodes.createTempView("loop_nodes")
    #广播变量

    # 进行扩展
    for i in range(loop_num):
    # 广播变量更新
        print(i)
        bd = set()
        brodcast = sc.broadcast("")
        for index, col in loop_nodes.toPandas().iterrows():
            bd.add(col["nodes"])
        brodcast.unpersist(False)
        brodcast = sc.broadcast(bd)
        df_edges_all_filter = df_edges_all.filter(
            df_edges_all["Source&