代码优化-loop transformation(unroll,fusion,skew等)

本文介绍了代码优化中的循环变换技术,包括循环融合(Loop Fusion)、循环仿射变换(Loop Skew)、循环重排(Loop Reorder)、循环分块(Loop Tiling)和循环展开(Loop Unroll)。这些技术旨在提升并行性,增强数据局部性,减少计算时间,降低硬件能耗,并提高缓存命中率。
摘要由CSDN通过智能技术生成

loop transformation:模型的并行和局部性(时间和空间)

loop fusion

循环融合,就是将多个循环融合在一起。融合在一起的好处包括充分利用数据的局部性,同时利用一些pipeline/multithread的技术可以减少计算时间。
例如对于下面的循环:
在这里插入图片描述

在没有融合之前,我们得先访问A[i],然后串行访问B[i]。我们得launch两个kernel,也就是每个kernel都得处理一个for循环,这种增加了局部性。将一个整体的for循环拆成多个for循环称为loop fission.
我们将两个循环融合在一起,虽然也是串行访问,但是访问的顺序变化了,因此我们利用这种数据的时间的局部性,利用多线程进行处理,我们就可以使用pipeline将计算的时间减少。

在这里插入图片描述
尽可能将多个for循环的计算融合在一起,这样好处:
可以减少on-chip和off-chip数据的访存和搬运,节省硬件的能耗
减少kernel的launch.

loop skew

loop仿射变换(平移,放缩数轴…),然后使得不同块之间的访问的数据依赖性降到最低。
例如下面的循环:

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值