关注
分享
文章平均质量分 89
本专栏面向 GPU 程序开发者，更确切地说是基于 CUDA 的 NVIDIA GPU 开发者，由浅入深介绍 GPU 硬件架构、软件开发流程、性能优化技巧、实际案例。
卜居
爱好：玩游戏，发呆
技能：CUDA，C/C++，Caffe/TensorFlow/PyTorch
展开
-
【经典回顾】Nvidia GPU 上的 CNN 计算速度变迁
笔者从 2012 年初开始接触 GPU 编程，2014 年上半年开始接触 Caffe，可以毫不谦虚地说是“一天天看着 Nvidia GPU 和 Caffe 长大的”。Nvidia GPU 架构经历了 Fermi、Kepler、Maxwell、Pascal（都是著名物理学家：特斯拉、费米、开普勒、麦克斯韦、帕斯卡、还未发布的 Volta 伏打……），硬件版本号从 1.x 到现在的 6.x，CUDA ...原创 2017-03-11 23:16:17 · 10387 阅读 · 3 评论 -
Nvidia Pascal GPU 架构详解
本文作于 2016/12/25，作者卜居。写在前面：本文假定读者有一定 CUDA 基础。如果你对 GPU, sm_60/sm_61，CUDA 这些名词感到陌生，可以看我之前写的博客《CUDA 从入门到精通》。 1. 前言Nvidia 在今年的 GTC( GPU Technology Conference ) 上高调宣布了 Pascal 架构——专门针对每瓦性能优化的新架构，采用 16n...原创 2016-12-25 17:44:49 · 41257 阅读 · 7 评论 -
CUDA从入门到精通（十）：性能剖析和Visual Profiler
入门后的进一步学习的内容，就是如何优化自己的代码。我们前面的例子没有考虑任何性能方面优化，是为了更好地学习基本知识点，而不是其他细节问题。从本节开始，我们要从性能出发考虑问题，不断优化代码，使执行速度提高是并行处理的唯一目的。 测试代码运行速度有很多方法，C语言里提供了类似于SystemTime()这样的API获得系统时间，然后计算两个事件之间的时长从而完成计时功能。在CUDA中，我们有专原创 2013-07-26 09:00:51 · 27899 阅读 · 16 评论 -
CUDA从入门到精通（九）：线程通信实例
接着上一节，我们利用刚学到的共享内存和线程同步技术，来做一个简单的例子。先看下效果吧： 很简单，就是分别求出1~5这5个数字的和，平方和，连乘积。相信学过C语言的童鞋都能用for循环做出同上面一样的效果，但为了学习CUDA共享内存和同步技术，我们还是要把简单的东西复杂化(^_^)。 简要分析一下，上面例子的输入都是一样的，1,2,3,4,5这5个数，但计算过程有些变化，而且每个原创 2013-07-25 21:12:30 · 7554 阅读 · 7 评论 -
CUDA从入门到精通（八）：线程通信
我们前面几节主要介绍了三种利用GPU实现并行处理的方式：线程并行，块并行和流并行。在这些方法中，我们一再强调，各个线程所进行的处理是互不相关的，即两个线程不回产生交集，每个线程都只关注自己的一亩三分地，对其他线程毫无兴趣，就当不存在。。。。 当然，实际应用中，这样的例子太少了，也就是遇到向量相加、向量对应点乘这类才会有如此高的并行度，而其他一些应用，如一组数求和，求最大（小）值，各个线程不原创 2013-07-25 20:03:45 · 8509 阅读 · 11 评论 -
CUDA从入门到精通（七）：流并行
前面我们没有讲程序的结构，我想有些童鞋可能迫不及待想知道CUDA程序到底是怎么一个执行过程。好的，这一节在介绍流之前，先把CUDA程序结构简要说一下。CUDA程序文件后缀为.cu，有些编译器可能不认识这个后缀的文件，我们可以在VS2008的Tools->Options->Text Editor->File Extension里添加cu后缀到VC++中，如下图： 一个.cu文件内既包原创 2013-07-24 14:05:31 · 15463 阅读 · 9 评论 -
CUDA从入门到精通（六）：块并行
同一版本的代码用了这么多次，有点过意不去，于是这次我要做较大的改动，大家要擦亮眼睛，拭目以待。 块并行相当于操作系统中多进程的情况，上节说到，CUDA有线程组（线程块）的概念，将一组线程组织到一起，共同分配一部分资源，然后内部调度执行。线程块与线程块之间，毫无瓜葛。这有利于做更粗粒度的并行。我们将上一节的代码改为块并行版本如下： #include "cuda_runtime.h"原创 2013-07-23 22:08:37 · 8990 阅读 · 4 评论 -
CUDA从入门到精通（五）：线程并行
多线程我们应该都不陌生，在操作系统中，进程是资源分配的基本单元，而线程是CPU时间调度的基本单元（这里假设只有1个CPU）。将线程的概念引申到CUDA程序设计中，我们可以认为线程就是执行CUDA程序的最小单元，前面我们建立的工程代码中，有个核函数概念不知各位童鞋还记得没有，在GPU上每个线程都会运行一次该核函数。但GPU上的线程调度方式与CPU有很大不同。CPU上会有优先级分配，从高到低，原创 2013-07-23 21:46:35 · 10299 阅读 · 4 评论 -
CUDA从入门到精通（四）：加深对设备的认识
前面三节已经对CUDA做了一个简单的介绍，这一节开始真正进入编程环节。首先，初学者应该对自己使用的设备有较为扎实的理解和掌握，这样对后面学习并行程序优化很有帮助，了解硬件详细参数可以通过上节介绍的几本书和官方资料获得，但如果仍然觉得不够直观，那么我们可以自己动手获得这些内容。 以第二节例程为模板，我们稍加改动的部分代码如下： // Add vectors in paralle原创 2013-07-23 13:17:50 · 11974 阅读 · 3 评论 -
CUDA从入门到精通（三）：必备资料
刚入门CUDA，跑过几个官方提供的例程，看了看人家的代码，觉得并不难，但自己动手写代码时，总是不知道要先干什么，后干什么，也不知道从哪个知识点学起。这时就需要有一本能提供指导的书籍或者教程，一步步跟着做下去，直到真正掌握。一般讲述CUDA的书，我认为不错的有下面这几本： 初学者可以先看美国人写的这本《GPU高性能编程CUDA实战》，可操作性很强，但不要期望能全看懂（Ps：里面原创 2013-07-23 09:20:15 · 11248 阅读 · 5 评论 -
CUDA从入门到精通（二）：第一个CUDA程序
书接上回，我们既然直接运行例程成功了，接下来就是了解如何实现例程中的每个环节。当然，我们先从简单的做起，一般编程语言都会找个helloworld例子，而我们的显卡是不会说话的，只能做一些简单的加减乘除运算。所以，CUDA程序的helloworld，我想应该最合适不过的就是向量加了。打开VS2008，选择File->New->Project，弹出下面对话框，设置如下：之后点OK，直接进入原创 2013-07-22 22:50:43 · 20471 阅读 · 9 评论 -
CUDA从入门到精通（一）：环境搭建
NVIDIA于2006年推出CUDA（Compute Unified Devices Architecture），可以利用其推出的GPU进行通用计算，将并行计算从大型集群扩展到了普通显卡，使得用户只需要一台带有Geforce显卡的笔记本就能跑较大规模的并行处理程序。 使用显卡的好处是，和大型集群相比功耗非常低，成本也不高，但性能很突出。以我的笔记本为例，Geforce 610M，用Devi原创 2013-07-22 21:54:13 · 30617 阅读 · 12 评论 -
CUDA从入门到精通（零）：写在前面
在老板的要求下，本博主从2012年上高性能计算课程开始接触CUDA编程，随后将该技术应用到了实际项目中，使处理程序加速超过1K，可见基于图形显示器的并行计算对于追求速度的应用来说无疑是一个理想的选择。还有不到一年毕业，怕是毕业后这些技术也就随毕业而去，准备这个暑假开辟一个CUDA专栏，从入门到精通，步步为营，顺便分享设计的一些经验教训，希望能给学习CUDA的童鞋提供一定指导。个人能力所及，错误难免原创 2013-07-22 21:33:02 · 22762 阅读 · 9 评论