Spark Broadcast广播变量

Broadcast广播变量使用规则如下：

（1）可以使用SparkContext.broadcast([初始值])创建

（2）使用.valuse来读取广播变量的值

（3）Broadcast广播变量被创建后不能修改

例子：

创建kvFruit：

>>> kvFruit = sc.parallelize([(1,"apple"),(2,"orange"),(3,"banala"),(4,"grape")])
>>> kvFruit.collect()
[(1, 'apple'), (2, 'orange'), (3, 'banala'), (4, 'grape')]

使用collectAsMap创建fruitMap字典：

>>> fruitMap = kvFruit.collectAsMap()
>>> fruitMap.collect()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'dict' object has no attribute 'collect'
>>> print("对照:"+str(fruitMap))
对照:{1: 'apple', 2: 'orange', 3: 'banala', 4: 'grape'}

将fruitMap字典转换为bcFruitMap广播变量：

>>> bcFruitMap = sc.broadcast(fruitMap)
>>> print("字典："+str(fruitMap))
字典：{1: 'apple', 2: 'orange', 3: 'banala', 4: 'grape'}

创建fruitIds：

>>> fruitId=sc.parallelize([2,4,1,3])
>>> print("水果编号："+str(fruitId.collect()))
水果编号：[2, 4, 1, 3]

使用广播变量字典进行转换（编号-->名字）：

水果编号：[2, 4, 1, 3]
>>> fruitNames = fruitId.map(lambda x:bcFruitMap.value[x]).collect()

>>> print(str(fruitNames))
['orange', 'grape', 'apple', 'banala']

使用广播变量的优势：

在并行处理中，bcFruitMap广播变量会传送到WorkNode节点机器，

并且存储在内存中，后续在节点都可以用这个广播变量进行转换，

可以节省很多内存和传达时间。