spark 2.2.0 共享变量使用方法 python版

最新推荐文章于 2023-11-27 23:39:46 发布

豆筱豆1993

最新推荐文章于 2023-11-27 23:39:46 发布

阅读量345

点赞数

文章标签： spark 共享变量 python

本文链接：https://blog.csdn.net/u011654843/article/details/79056468

版权

import os
import sys
os.environ['SPARK_HOME'] = '/opt/spark'
sys.path.append("/opt/spark/python")

from pyspark import SparkContext
from pyspark import SparkConf
factor =2

if __name__ == '__main__':
    sc = SparkContext("spark://node0:7077", "reduce")
    brodacastvalue = sc.broadcast(factor)
    list = [1, 2, 3, 4, 5]
    listRdd = sc.parallelize(list)
    listmap = listRdd.map(lambda s: s * brodacastvalue.value)
    print listmap.collect()