【Spark】大数据+AI mettup【视频笔记】

204 篇文章 480 订阅 ¥49.90 ¥99.00
本文介绍了Spark 3.0引入的自适应执行特性,该特性在执行过程中根据机器信息动态优化任务,提升性能。通过案例展示了如何通过任务切分和Join Hints实现性能优化,以及如何谨慎使用Join Hints。此外,还提及了使用GPU资源的可能性,监控和调优的重要性,以及如何提高SQL的兼容性和读取效率。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

在这里插入图片描述

在这里插入图片描述
spark 3 多了一个自适应处理逻辑,就是在执行几个execuplain之后,spark已经能够收集到机器的一些信息,然后就可以自适应,优化,该自适应优化,不是一次性优化完,是逐步随着运行,逐渐优化的。

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值