将数据进行广播代码案例

最新推荐文章于 2024-06-12 16:21:48 发布

努力成为一名资深大数据选手

最新推荐文章于 2024-06-12 16:21:48 发布

阅读量92

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_50166024/article/details/112908476

版权

Spark 广播变量数据处理分布式 Map

关键词由CSDN通过智能技术生成

大数据专栏收录该内容

58 篇文章 4 订阅

订阅专栏

//1.
val saprk: SparkSession = SparkSession.builder().master(“local”).appName(“test”).getOrCreate()
//读取数据进行广播
val filed=saprk.sparkContext.textFile(“data\app_dict.txt”)
.filter(_.split("\t").length>=5)
.map(t=>{
val arr=t.split("\t")
(arr(4),arr(1))
}).collectAsMap()
//广播
val bc: Broadcast[collection.Map[String, String]] = saprk.sparkContext.broadcast(filed)
//在rdd里就可以用了！