杂谈：如何调试CUDA代码

    刚刚找到很隐蔽的一个bug（^-^），趁大脑还清醒赶紧滚过来写一下感想，如果对读者有一点点的帮助，那就是再好不过的事情了！

CUDA并行编程复杂，相比CPU单线程，主要有三点：第一，CUDA程序开发难，一方面要根据串行算法设计并行化算法，这要求有很好的算法基础，另一方面还要了解GPU底层硬件以更好地利用CUDA模型，这还要求一些硬件架构基础;第二，CUDA程序调试难，相比单线程开发，CUDA多线程调试难在问题定位，有时需要从几百上千的线程里找到出错的线程;第三，CUDA程序优化难，一个CUDA程序的开发需要经过多次APOD迭代优化，有时需要改动程序架构，有时需要改改指令顺序，里面的trick很多。

——DeepGlint高性能计算小组