Spark流处理中的广播变量

背景

        前段时间做的是一个流式项目里，场景为：对于流式数据，使用过滤规则进行实时过滤并产出结果数据。流式数据为源源不断的IP，筛选出在合格IP集合中的数据，传输到下游消息中间件中。

技术选型

        上游数据从消息中间件中读取，处理采用Spark Streaming，下游也采用消息中间件。

广播变量

广播变量的适用场景

        在Spark这种分布式计算中，如果每个算子都需要读取一个变量，并且变量的数据量最好在百级，则采用广播变量，把这个变量广播到各个executor算子中；

广播变量相对于外部变量的优点

• 减少了各个算子间数据的网络传输；很明显，广播变量一旦广播后，在所有executor中都存在了，不随task的变化而变化。但是对于外部变量来说，其随着task的变化而变化，如果task中用到了，它则需要从各个节点中拉取/传输/删除；
• 减少了内存占用；广播变量的数据存储在executor的共享内存中，即：一个executor中只存储一份广播变量；但是外部变量则是一个task中都存储一份，一个executor中分配到了多少task，则存储多少份外部变量；

ps:Spark中executor的内存管理见之前写的文章：https://blog.csdn.net/qq_35583915/article/details/109359939

广播变量的使用