Parallelism != Concurrency
concurrency 和 parallelism 的本质区别是,多个线程/进程(或程序的多个部分)之间有没有互相作用和交流。这种交流分两种:一种是共享内存,一种是消息传递。前者我们很熟悉,我们最常用的锁(Lock)或者信号量(Semaphore)就属于共享内存的一种。
另外,需要说明的是,并不是所有的 paraellel 的程序都使用多线程/进程,它们也可以使用 coroutine,使用 events。一言以蔽之,parallelism 是建立在同步(synchronous )代码的基础上,同步代码同时运行;而把一个程序分成几个同步的部分,它们之间允许进行 communication 就有 concurrency 了!
<<Parallelism is not concurrency>>
Non-Blocking Synchronization,NBS, lock-free, RMW (read-modify-write), CAS(Compare And Swap)
API 与 ABI