刚刚找到很隐蔽的一个bug(^-^),趁大脑还清醒赶紧滚过来写一下感想,如果对读者有一点点的帮助,那就是再好不过的事情了!
CUDA并行编程复杂,相比CPU单线程,主要有三点:第一,CUDA程序开发难,一方面要根据串行算法设计并行化算法,这要求有很好的算法基础,另一方面还要了解GPU底层硬件以更好地利用CUDA模型,这还要求一些硬件架构基础;第二,CUDA程序调试难,相比单线程开发,CUDA多线程调试难在问题定位,有时需要从几百上千的线程里找到出错的线程;第三,CUDA程序优化难,一个CUDA程序的开发需要经过多次APOD迭代优化,有时需要改动程序架构,有时需要改改指令顺序,里面的trick很多。
——DeepGlint高性能计算小组