![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
qzqanlhy1314
这个作者很懒,什么都没留下…
展开
-
Spark数据倾斜解决方式
原创 2019-08-12 11:24:46 · 115 阅读 · 0 评论 -
Spark 算子调优
使用mapPartitions 或者 mapPartitionWithIndex 替换map 操作 在映射的过程中需要频繁创建额外对象的时候(数据库,网络TCP等IO连接,文件流 等) mapPartitions 按照分区创建额外的对象 map 按照元素创建额外对象 mapPartitionsWithIndex 与mapPartitions基本相同,只是处理参数是一个二元组,元组的第一个元素是当...原创 2019-08-16 14:52:41 · 236 阅读 · 0 评论