走进并行

走进并行

---

同步（Synchronous）和异步（Asynchronous）：

• 同步与异步均用于形容一次方法调用
• 同步方法调用一旦开始，调用者需等到方法调用结束，才可执行后续操作
• 异步方法调用可以看作是消息通知，一旦开始，方法调用立即返回，调用者可继续执行后续操作

并行（Parallelism）和并发（Concurrency）；

• 并行是真正意义上的同时执行
• 并发是任务交替执行，而多个任务之间可能还是串行的
• 如果一个系统中只有一个CPU且是单核的，则多线程或者多进程都是并发的，而非真正意义上的并行
• 并行只可能在不只有一个CUP（如多核CPU)的系统中才会出现

临界区

• 临界区指的是一种公共资源或者说共享数据，有多个线程可以访问。但，当一个线程访问临界区时，其它线程必须等待，即每次只有一个线程能访问临界区。

阻塞（Blocking）和非阻塞（Non-Blocking）：

• 通常用来形成多线程间的相互影响
• 例如，当一个线程访问了临界区资源，其它需要此资源的线程就必须等待。等待就意味着线程被挂起，这种情况就是阻塞
• 非阻塞强调的是没有一个线程会影响其它线程执行。

死锁（DeadLock）、饥饿（Starvation）和活锁（LiveLock）：

-死锁：多个线程间互相需要对方的资源而产生死循环导致所有线程都在相互等待、永远无法获得线程执行所需的资源
-饥饿： 一个或多个线程由于种种原因而一直无法获得线程执行所需的资源（例如，某个线程一直占用资源不放；某个线程优先级较低，而一直无法获得资源)
-活锁：线程间主动将资源释放给对方，导致资源在线程间跳动，而没有一个线程获取到线程执行所需的全部资源

并发级别：

• 阻塞（Blocking)
• 无饥饿(Starvation-Free）
• 无障碍（Obstruction-Free）
• 无锁（Lock-Free）
• 无等待（Wait-Free）

两个定律：

F:串行比例
n:处理器个数
加速比：系统优化前耗时/系统优化后耗时

• Amdahl定律：
  $$加速比=\frac{1}{n-F(1-n)}$$
  – 当系统串行比例一定时，强调单纯地增加处理器数量，对系统性能的提升存在上限。

• Gustafson定律
  $$ 加速比=n-F(n-1)
  –更加关注的是当串行比例足够小，系统性能就会随着CPU的数量现行上升。