广播变量Broadcast2种实现方式,以及开发中遇到的坑

首先,介绍2中 我在开发过程中实现广播变量时用了2中方式:

1.  使用mapPartitions循环每个分区 里面套一个for循环 进行遍历quzhi,使用yield进行返回(因为for循环不支持返回),当然了这是根据业务需要,你也可以不返回,看业务

2.同样使用mapPartitions循环每个分区,只不过里面使用map进行循环 其实跟第一种大差不差, 推荐第二种

区别

第二种里面可以写else ,

第一种里面不能写else ,

使用过程中需要注意的.,一切尽在图中了..

 

2者的返回值也有不同

 

 

欢迎来访开发人员共同交流, 共同进步