并行计算

基础知识

电脑功率=$主{频}^3$,于是主频越高的电脑要求散热越好，于是采用多核并行解决这个问题。

新摩尔定律：处理器主流2-8个核心的多核CPU、十到上千个核心的众核GPU（图形处理器）。
$$高性能计算（HPC）\{\begin{array}{l}并行计算\\ 分布式计算\\ 网格计算\\ 云计算\end{array}$$

分布式计算

原理：将任务和数据分割成小块，由多个计算机分别计算，上传结果统一合并。

优点：1）稀有资源共享
2）平衡计算负载
3）程序可以放在最合适运行的计算机上

并行计算

原理：多条指令同时进行
分为：
$$\{\begin{array}{l}时间并行--流水线\\ 空间并行--多个处理器\end{array}$$

常见的几种并行计算

1）进程+线程：硬件是多机+多核，编程环境是MPI+OpenMP，处理大粒度任务。
2）线程+GPU线程：硬件是多核+多GPU，编程环境是OpenMP+CUDA/OpenCL，处理小粒度任务。
3）进程+线程+GPU线程：硬件是多机+多核+多GPU，编程环境是MPI+OpenMP+CUDA/OpenCL，大小任务都可以。

划分任务的时候，任务之间最好是没有关系

$$\{\begin{array}{l}MPI:为每个计算机分配一个进程（进程ID）\\ OpenMP:多核分配一个线程（线程ID）\\ CUDA/OpenCL:多个GPU线程处理对应的子任务\end{array}$$

CPU vs GPU

1）理论差别
$$\{\begin{array}{l}CPU:逻辑和控制运算厉害，面向解决延迟\\ GPU:数据并行任务，面向数据吞吐量，图像处理就需要高数据并行\end{array}$$
2）结构差别


3）处理数据
GPU：实现需要准备好数据以及分配好内存（c里面的malloc），之后会拷贝到GPU上运算。
CPU：大缓存（Cache）、复杂控制、功能强大的ALU
4）GPU线程和CPU线程
$$\{\begin{array}{l}CPU一个核心通常只能运行一个线程\\ CPU多线程，解决粗粒度，一般由操作系统自带的API实现\\ CPU线程切换代价高\\ GPU:轻量级线程，零开销线程切换\end{array}$$
$GPU不适用的应用：$
$$\{\begin{array}{l}复杂数据结构：树、矩阵、链表等等\\ 串行和常务性处理较多的情况\\ 并行规模很小\\ 重设算法和数据结构或打包处理\end{array}$$

查看电脑的显卡是什么样的

如果电脑显卡是NVIDIA的就可以直接安装软件了

CUDA程序

1）安装cuda，如果显卡是NVIDA直接安装cuda
打开vs，新建一个cuda项目，cuda是一种通用并行计算架构，该架构使GPU能够解决复杂的计算问题
2）用vs创建CUDA程序
vs2013下编写你的第一个CUDA程序

3）逻辑