如何计算Task数量来充分利用上CPU

本文探讨了如何计算Task数量以充分利用CPU资源,特别是在数据库查询中。任务数量受读表、Join、Group By、Limit和数据插入等因素影响。例如,Join的task数由Hash Shuffle决定,limit操作会预估并裁剪task,而数据插入时,分桶表的task数等于分桶数。此外,可通过调整AutoMerge和reduce任务参数来优化Task数量。
摘要由CSDN通过智能技术生成

因为任务的分配是以Task为粒度执行的,每一个Task同时只会执行在一个Executor上,是用一个vCore资源,因此如果要充分利用上CPU,就需要干预Task数量。

以如下SQL为例:

select 

       l_orderkey, 

       sum(l_extendedprice * (1 - l_discount)) as revenue, 

       o_orderdate, 

       o_shippriority 

from 

       customer, orders, lineitem 

where 

       c_mktsegment = 'BUILDING' 

       and c_custkey = o_custkey 

       and l_orderkey = o_orderkey 

       and o_orderdate < date '1995-03-15' 

       and l_shipdate > date '1995-03-15' 

       and o_orderdate > date '1994-11-13' 

       and l_commitdate < date '1995-06-14' 

group by 

       l_orderkey, 

       o_orderdate, 

       o_shippriority 

order by 

       revenue desc, 

o_orderdate 

limit

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值