原文地址：http://blog.sina.com.cn/s/blog_70684c2a0100vjjb.html
前两部分是有关ILP隐藏计算和访存延迟，从而在GPU低占用率的情况下达到高并行度和吞吐率。下一部分是讨论在共享内存（shared memory）和寄存器（register）之间的权衡，作者从吞吐率的角度上说明使用共享内存达不到最好性能，最好降低占用率从而尽可能多的使用寄存器。
3.使用更少线程运行更快
使用更少线程意味着每个线程拥有更多的寄存器。
每个线程的寄存器数：
GF100：在100%占用率时有20个，在33%占用率时63个，为3倍。
GT200：在100%占用率时有16个，在12.5%占用率时约有128个，为8倍
那么每个线程有更多的寄存器是不是更好呢？
只有寄存器的速度才能足够达到峰值。考虑这样一个计算: a*b+c：2个flops，12B输入，4B输出，则对于1.3Tflop/s的计算峰值，需要8.1TB/s的带宽，寄存器可以满足这样的要求，我们来看看共享内存（shared memory）能不能达到？
只有 4B*32banks*15SMs*half 1.4GHz = 1.3TB/s
需要的带宽和可以达到的带宽比较：
lz：可以看出共享内存的带宽是全局内存（显存）的7.6倍，而寄存器是共享内存的6倍，至少需要8TB/s的带宽才能让GPU的计算达到峰值，寄存器可以做到（废话，做不到这个计算峰值就根本不存在了）。
谬误：“事实上，对一个warp中的所有线程来说，如果线程间没有bank conflicts，访问共享内存和访问寄存器一样快。”（CUDA Programming Guide）
不，在Fermi架构中，共享内存的带宽比寄存器慢6倍以上。（非Fermi为3倍）
运行更快可能需要更低的占用率：
1.
2.
3.
这常常可以通过每个线程计算更多的输出来完成。
对线程来说，越多的数据存放于寄存器意味着越少次数的共享内存访问。越少的线程，但每个线程做越多的工作，使得低占用率不成问题。
从Tesla到Fermi是一种倒退吗？
共享内存带宽和计算带宽的差距增加了：
使用快速的寄存器会有帮助，但寄存器的数目被严格限制：
G80-GT200: 每个线程最多128个寄存器
Fermi：每个线程最多64个寄存器
1172
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
