并发编程学习---并发编程的挑战

目录

• 序言
• 上下文切换
  • 什么叫上下文切换
  • 上下文切换次数检测（vmstat）
  • 上下文切换时间检测（lmbench3）
  • 如何减少上下文切换
• 死锁
  • 产生条件
  • 避免死锁
• 资源限制的挑战
  • 什么是资源限制
  • 资源限制引发的问题
  • 如何解决资源限制的问题
  • 在资源限制情况下进行并发编程

序言

并发编程的目的是为了让程序运行的更快，但是并不是启动更多的线程，就能让程序最大限度的并发执行。在进行并发编程时，如果希望通过多线程执行任务让程序运行的更快，会面临非常多的挑战，比如上下文切换的问题，死锁的问题，以及受限于硬件和软件的资源限制问题

1. 上下文切换

1.1 什么叫上下文切换

即使是单核处理器也支持多线程执行代码，CPU通过给每个线程分配CPU时间片来实现这个机制。时间片是CPU分配给各个线程的时间，因为时间片非常短，所以CPU通过不停的切换线程执行，让我们感觉多个线程是同时执行的，时间片一般是几十毫秒（ms）。
CPU通过时间片分配算法来循环执行任务，当前任务执行一个时间片后会切换到下个任务，但是在切换前会保存上一个任务的状态，以便下次切换回这个任务时，可以再加载这个任务的状态。所以任务的保存到再加载的过程就是一次上下文切换

1.2 上下文切换次数检测（vmstat）

[root@qxkj-s2 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 516560 3135424      0 6940864    0    0     0   149    1    0  1  0 98  0  0
 0  0 516560 3135020      0 6940864    0    0     0   112 1013 1302  1  0 99  0  0
 0  0 516560 3135052      0 6941056    0    0     0     0  867 1139  0  0 99  0  0
 0  0 516560 3135176      0 6941056    0    0     0     0  855 1207  0  0 100  0  0
CS（Content Switch）表示上下文切换的次数，从上面的测试结果中，我们可以看到其中上下文的每一秒钟切换1000多次

1.3 上下文切换时间检测（lmbench3）

大概几十毫秒

1.4 如何减少上下文切换

• 无锁并发编程
  多线程竞争锁时，会引起上下文切换，所以多线程处理数据时，可以用一些办法来避免使用锁，如将数据的ID按照Hash算法取模分段，不同的线程处理不同段的数据
• CAS算法
  Java的Atomic包使用CAS算法来更新数据，而不需要加锁，这个是乐观锁的方式，synchronized是悲观锁
• 使用最少线程
  避免创建不需要的线程，比如任务很少，但是创建了很多线程来处理，这样会造成大量线程都处于等待状态（tomcat中的线程数合理配置）
• 协程
  在单线程里实现多任务的调度，并在单线程里维持多个任务间的切换

2. 死锁

锁是个非常有用的工具，运用场景非常多，因为其使用起来非常简单，而且易于理解。但同时它也会带来一些困扰，那就是可能会引起死锁，一旦产生死锁，会造成系统功能不可用，哲学家进餐问题就是经典的死锁案例

2.1 产生条件

• 互斥条件 一个资源每次只能被一个进程使用
• 请求与保持条件 一个进程因请求资源而阻塞时，对已获得的资源保持不放
• 不剥夺条件 进程已获得的资源，在末使用完之前，不能强行剥夺
• 循环与等待条件 若干进程之间形成一种头尾相接的循环等待资源关系

3.2 避免死锁

• 避免一个线程同时获取多个锁
• 避免一个线程在锁内同时占用多个资源，尽量保证每个锁只占用一个资源
• 尝试使用定时锁，使用lock.tryLock（timeout）来替代使用内部锁机制
• 对于数据库锁，加锁和解锁必须在一个数据库连接里，否则会出现解锁失败的情况

3. 资源限制的挑战

3.1 什么是资源限制

资源限制是指在进行并发编程时，程序的执行速度受限于计算机硬件资源或软件资源的限制。比如服务器的带宽只有2M，某个资源的下载速度是1M每秒，系统启动十个线程下载资源，下载速度不会变成10M每秒，所以在进行并发编程时，要考虑到这些资源的限制。硬件资源限制有带宽的上传下载速度，硬盘读写速度和CPU的处理速度。软件资源限制有数据库的连接数和Sorket连接数等

3.2 资源限制引发的问题

并发编程将代码执行速度加速的原则是将代码中串行执行的部分变成并发执行，但是如果某段串行的代码并发执行，但是因为受限于资源的限制，仍然在串行执行，这时候程序不仅不会执行加快，反而会更慢，因为增加了上下文切换和资源调度的时间。例如，之前看到一段程序使用多线程在办公网并发的下载和处理数据时，导致CPU利用率100％，任务几个小时都不能运行完成，后来修改成单线程，一个小时就执行完成了

3.3 如何解决资源限制的问题

对于硬件资源限制，可以考虑使用集群并行执行程序，既然单机的资源有限制，那么就让程序在多机上运行，比如使用ODPS，hadoop或者自己搭建服务器集群，不同的机器处理不同的数据，比如将数据ID％机器数，得到一个机器编号，然后由对应编号的机器处理这笔数据。

对于软件资源限制，可以考虑使用资源池将资源复用，比如使用连接池将数据库和Sorket连接复用，或者调用对方webservice接口获取数据时，只建立一个连接。

3.4 在资源限制情况下进行并发编程

那么如何在资源限制的情况下，让程序执行的更快呢？根据不同的资源限制调整程序的并发度，比如下载文件程序依赖于两个资源，带宽和硬盘读写速度。有数据库操作时，要数据库连接数，如果SQL语句执行非常快，而线程的数量比数据库连接数大很多，则某些线程会被阻塞住，等待数据库连接。

---