数据库大数据量导出多线程版本

【不积跬步，无以至千里；不积小流，无以成江海。】

一、概述

一年多前，我做了一个小需求，导出80w的数据。当时写了一篇博客 《在集群上支持数据库大数据量导出》，简单地讲了一些原理，并贴出了部分的源码。原理用了一张图来表述：

基本就是客户在页面申请导出请求，把请求存在数据库中，再由定时任务取出来运行：

由于当时是把所有的请求都转给第一台机器运行，并且是单线程运行 <本来是想多线程处理，后来因为时间原因，没有实施。这里主要是借助定时钟机器，所以实现起来比较简单。定时钟机器在一台固定的机器上面运行>，效率低下，因为多个任务需要排队，业务方的抱怨也很多。为此此次我把定时钟的单线程运行改成了多线程运行，且每台机器都可以运行。下面大致说下原理。

二、多线程运行

    我们线上的服务器肯定不止一台，假设有三台，每个服务器最好不止一个线程在服务，根据服务器的能力，假设开3个线程。那么总共就有9个线程在服务了。这9个线程需要怎么协调协调等等一些问题就浮出水面了。

一般有两种结构模式：