javascript --- > 异步工作流的动态排队技术

很多情况下,使用async.series和async.paralle存在一个明显的问题,即:
1.其任务队列是静态的,在其调用前,一定要明确任务队列的数量,一旦明确了任务队列的数量,就不能改变.
2.倘如要同时并发读取上千个文件,使用async.paralle明显不可能(各线程抢资源,根本不够用),使用async.series…(运行时间可想而知…)

好在有一种async.queue方法:

// async.queue
var async = require('async');
function worker(data, callback) {
    console.log(data);
    callback();
}
var concurrency = 2;
var queue = async.queue(worker, concurrency);
queue.push(1);
queue.push(2);
queue.push(3);


// 注:async.queue有2个参数:worker函数和concurrency(并发度)
// concurrency比较好理解,即并发的最大数量(本例为:2),
// worker函数,是处理数据的方式,它接受2个参数(data, callback);

// queue.drain
// 可以给queue队列加一个完工事件处理
var async = require('async');
function worker(data, callback) {
    setTimeout(callback, data);
}
var concurrency = 2;
var queue = async.queue(worker, concurrency);
var start = new Date;
queue.drain = function() {
    console.log('Completed in ' + (new Date - start) + 'ms');
};

queue.push([100, 300, 200]);

// 注:以上函数会执行2次循环,每次循环会总队列中读取2个数据(第一次100和300,第二次200);
// 2次循环过后会执行drain函数,打印出'Completed'字符串和时间.

参考《JavaScript异步编程》 — 设计快速响应的网络应用 P80~P82