课程总结 -- CPU／GPU并行计算基础（CPU篇）

上学期选修了Prof. Tolga Soyata的“GPU Parallel Programming using C/C++”课程。该课程主要分两部分：前半部分通过讲解CPU并行程序来介绍并行计算的原理和思路；后半部分讲解如何用CUDA在GPU上进行并行计算。本文纪录其中的基础要点和关键实现方式。通过本文大家可以了解到：1、如何用CPU进行多线程并行计算；2、CUDA是什么，GPU如何进行并行计算；3、并行计算的优越性；4、内存的应用对程序性能的影响。

本文分两部分：第一部分是CPU计算部分，第二部分是GPU计算部分。其中主要介绍实现的具体方法（理论也讲不清楚）。内容参考课上课件和代码，以及教材：CUDA BY EXAMPLE。

---

0、串行程序

在接下来的几个小节，我们会用不同的方式完成同一个任务：纵向翻转一张3200x1600的图片，并比较它们之间的性能差异。首先我们来看的是采用串行方法的实现，即不使用并行计算，对逐个像素进行交换操作。为了简化读写等无关操作，我们用opencv进行图像的读写，具体代码见这里。

性能：使用串行计算，其速度为平均每张图片约 107ms。

1、第一个CPU并行程序

分析一下这个任务，我们可以发现：每一行执行的操作是独立且相同的。因此我们其实可以让不同行同时执行同样的操作，这便是并行的程序。具体来说，假设我们有$n$个并行的线程，我们便可以让每个线程完成$1/n$的任务，比如线程1完成 [1...cols