【不积跬步,无以至千里;不积小流,无以成江海。】
一、概述
一年多前,我做了一个小需求,导出80w的数据。当时写了一篇博客 《在集群上支持数据库大数据量导出》,简单地讲了一些原理,并贴出了部分的源码。原理用了一张图来表述:
基本就是客户在页面申请导出请求,把请求存在数据库中,再由定时任务取出来运行:二、多线程运行
由于当时是把所有的请求都转给第一台机器运行,并且是单线程运行 <本来是想多线程处理,后来因为时间原因,没有实施。这里主要是借助定时钟机器,所以实现起来比较简单。定时钟机器在一台固定的机器上面运行>,效率低下,因为多个任务需要排队,业务方的抱怨也很多。为此此次我把定时钟的单线程运行改成了多线程运行,且每台机器都可以运行。下面大致说下原理。
我们线上的服务器肯定不止一台,假设有三台,每个服务器最好不止一个线程在服务,根据服务器的能力,假设开3个线程。那么总共就有9个线程在服务了。这9个线程需要怎么协调协调等等一些问题就浮出水面了。
一般有两种结构模式: