CUDA——性能优化之循环展开

循环展开（#pragma unroll）

1）什么是循环展开？

循环展开顾名思义就是将循环体展开，全部展开或者展开一部分都可以有效提高性能。

循环展开无论是在CPU还是GPU上，都可以有效的提高应用程序运行速度。

以下是一个循环体

float sum=0;
for(int i=0;i<n;++i)
{
	sum+=a[i];
}

循环部分展开

for(int i=0;i<n;i+=2)
{
	sum+=a[i]+a[i+1];
}

2）为什么要循环展开

我们知道执行核函数时，通常以warp为单位去执行指令的。当warp去执行循环时（ 线程ID去做for的判断条件 或者 for里有线程ID的if条件 ），会产生分支冲突，增加指令数。
所以循环展开可以有效避免分支冲突，提高性能。

3）循环展开在GPU中的应用

编译器会默认展开带有循环计数的小循环（比如上述例子中的N是常数的话）。而#pragma unroll 指令则可用于控制任何给定循环的展开。它必须放置在循环前，并只应用于此循环。它后面可以跟一个数字，用于指定循环必须展开多少次。

下列代码示例中循环将展开5次

#pragma unroll 5
for(int i=0;i<n;++i)

此时，要确保n>=5，不然会影响程序运算结果。

注意（当循环展开之后需要用到寄存器时）：

循环展开会使用更多的寄存器，编译器在编译的过程中会将确定的量优先存储在寄存器中，这就导致有些变量会被存储到局部内存。（循环展开会消耗更多的寄存器，而不展开是不会的）。SM里的寄存器大小是有限的，SM会根据一个块需要消耗的寄存器大小和线程的个数去分配该SM上块的个数，当一个SM连一个块都分配不了时，就会导致内核启动不了。

此时的解决办法就只有 减少线程的数量去换取更多的寄存器。
所以循环的展开应该在寄存器适用的范围去展开，不能过度展开。如何保证不过度展开？就是权衡寄存器大小和线程数量之间的关系。