- 博客(3)
- 收藏
- 关注
RSS订阅转载 spark repartition 并发数量调整
并行度：之前说过，并行度是自己可以调节，或者说是设置的。1、spark.default.parallelism2、textFile()，传入第二个参数，指定partition数量（比较少用）咱们的项目代码中，没有设置并行度，实际上，在生产环境中，是最好自己设置一下的。官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executor，1...
2019-05-31 15:06:01
4629
原创 谁能告诉我为什么dataset.repartition无效
dataset只有一个分区,所以我要多分区来提高并发度，但是dataset.rdd.getNumPartitions 还是1
2019-05-31 10:34:56
1050
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人