NVIDIA CUDA初级教程视频--（二）

第二章并行程序设计概述

1. 串行计算模式：常规软件是串行的，设计运行与一个CPU 上，通过离散的指令序列完成一个问题的解决，一条一条指令的执行，同时只有一条指令在执行
2. 并行计算模式：并行计算是同时应用多个计算资源解决一个计算问题
   3.Flynn矩阵：根据指令和数据来进行划分
   
   MISD：一个数据的多个操作过程 MIMD：多个指令作用于多个数据
   4.任务：可以去完整的得到结果的一段程序，程序代码段
   并行任务：可以由多个并行计算去执行 串行执行
   并行执行：多个一起处理 共享存储： 分布式存储：存储的东西放在不同地方
   通信：执行单元间的交互
   同步：对于并行系统执行的相互性，一致性，破坏了系统的并行性，独立性
   粒度：并行任务划分的时候每个任务的大小
   加速比：对比标志程序，并行系统的实际性能提升，相同层次系统的比较
   并行开销：进程之间的同步，通信，IO 可扩展性：和效率和加速比之间的关系
   5.存储器架构：共享存储，分布式存储，混合分布式共享存储 存储的寻址，编址
   6.并行编程模型：共享存储模型：需要的数据放入共享存储器中
   线程模型：启动很多线程，线程之间会有切换
   消息传递模型：MPM：独立的处理单元，存储空间也是独立的 数据传递模型
   7.OpenMP MPI
   SPMD：完整的程序代码去处理数据 MPMD
   8.设计并行处理系统和程序：
   自动和手动并行,理解问题和程序，分块分割，通信，同步，数据依赖
   负载均衡，粒度，I/O，成本，性能分析和优化
   9.Amdahl‘s Law