- 博客(1)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 spark 2.x spark算子调优
算子调优一：mapPartitions 普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。 spark map 算子 如果是mapPartition算子，由于一个task处理一个RDD的partition，那么一个task只会执行一次function，function一次接收所有的partition数据
2020-05-27 08:06:27
252
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人