- 博客(1)
- 资源 (3)
- 收藏
- 关注
原创 spark的join和leftJoin使用union和reduce实现
在spark中使用自带的join与leftJoin容易引发性能问题,所以可以改写为union后reduce来提升性能。import scala.reflect.ClassTagdef leftJoin[K:ClassTag,V:ClassTag](left:RDD[(K, V)],right:RDD[(K, V)])={ left.mapValues(x=>Ar...
2018-12-01 15:07:20 3033 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人