- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark中宽依赖、shuffle、join之间的关系
这是一个有意思的问题。准确来说只有宽依赖===>shuffle，也就是如果发生了宽依赖那么就一定发生了shuffle过程。其余的都没有直接联系。1.发生宽依赖就一定会伴随着shuffle。2.发生shuffle不一定产生宽依赖比如一个RDD在不断的做join的过程。这个过程中每个RDD都使用了相同的分区器内部是基于cogroup的shuffle操作但是它的整个过程在同一个St...
2019-03-29 13:48:29
1827
1
原创 SparkSQL读写kudu小记
在操作之前首先要有相应的依赖<dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-spark2_2.11</artifactId> <version>1.8.0</version> &a
2019-03-18 10:42:35
3684
1
转载 Spark商业实战三部曲源码地址
https://github.com/duanzhihua/code-of-spark-big-data-business-trilogy/
2019-03-18 10:34:35
1085
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人