使用libuv线程池实现Node.js异步函数

最新推荐文章于 2024-05-15 07:12:31 发布
最新推荐文章于 2024-05-15 07:12:31 发布
阅读量2.3k 收藏 3
点赞数
文章标签： node.js libuv barcode JavaScript

JavaScript是一种单线程的编程语言。在使用Node.js的时候，如果有耗时的操作，需要放到异步函数中。Node.js的底层使用了libuv，用于实现异步I/O。

学习资源

优化Node.js条形码插件

安装

同步接口

先看下同步接口是怎么实现的。

创建dbr.cc，并在里面增加一个函数DecodeFile：

#include <node.h>
#include <node_buffer.h>
#include <string.h>
#include <uv.h>
#include "If_DBR.h"
#include "BarcodeFormat.h"
#include "BarcodeStructs.h"
#include "ErrorCode.h"
 
using namespace v8;
 
// Barcode format
const char * GetFormatStr(__int64 format)
{
    if (format == CODE_39)
        return "CODE_39";
    if (format == CODE_128)
        return "CODE_128";
    if (format == CODE_93)
        return "CODE_93";
    if (format == CODABAR)
        return "CODABAR";
    if (format == ITF)
        return "ITF";
    if (format == UPC_A)
        return "UPC_A";
    if (format == UPC_E)
        return "UPC_E";
    if (format == EAN_13)
        return "EAN_13";
    if (format == EAN_8)
        return "EAN_8";
    if (format == INDUSTRIAL_25)
        return "INDUSTRIAL_25";
    if (format == QR_CODE)
        return "QR_CODE";
    if (format == PDF417)
        return "PDF417";
    if (format == DATAMATRIX)
        return "DATAMATRIX";
 
    return "UNKNOWN";
}
 
/*
 *  decodeFile(fileName, barcodeTypes, callback)
 */
void DecodeFile(const FunctionCallbackInfo<Value>& args) {
 
    Isolate* isolate = Isolate::GetCurrent();
    HandleScope scope(isolate);
 
    // get arguments
    String::Utf8Value fileName(args[0]->ToString()); // convert v8 string to char *
    char *pFileName = *fileName; // file name
    __int64 llFormat = args[1]->IntegerValue();  // barcode types
    Local<Function> cb = Local<Function>::Cast(args[2]); // javascript callback function
 
    // initialize Dynamsoft Barcode Reader
    int iMaxCount = 0x7FFFFFFF;
    ReaderOptions ro = {0};
    pBarcodeResultArray pResults = NULL;
    ro.llBarcodeFormat = llFormat;
    ro.iMaxBarcodesNumPerPage = iMaxCount;
 
    // decode barcode image
    int ret = DBR_DecodeFile(pFileName, &ro, &pResults);
    if (ret)
        printf("Detection error code: %d\n", ret);
 
    int count = pResults->iBarcodeCount;
    pBarcodeResult* ppBarcodes = pResults->ppBarcodes;
    pBarcodeResult tmp = NULL;
 
    // array for storing barcode results
    Local<Array> barcodeResults = Array::New(isolate);
 
    for (int i = 0; i < count; i++)
    {
        tmp = ppBarcodes[i];
 
        Local<Object> result = Object::New(isolate);
        result->Set(String::NewFromUtf8(isolate, "format"), String::NewFromUtf8(isolate, GetFormatStr(tmp->llFormat)));
        result->Set(String::NewFromUtf8(isolate, "value"), String::NewFromUtf8(isolate, tmp->pBarcodeData));
        barcodeResults->Set(Number::New(isolate, i), result);
    }
 
    // release memory of barcode results
    DBR_FreeBarcodeResults(&pResults);
 
    // run the callback
    const unsigned argc = 1;
    Local<Value> argv[argc] = { barcodeResults };
    cb->Call(isolate->GetCurrentContext()->Global(), argc, argv);
}
 
void Init(Handle<Object> exports) {
    NODE_SET_METHOD(exports, "decodeFile", DecodeFile);
}
 
NODE_MODULE(dbr, Init)

现在可以使用JavaScript接口decodeFile了。创建binding.gyp。针对Windows, Linux和macOS添加不同的头文件和库路径：

{
  "targets": [
    {
      'target_name': "dbr",
      'sources': [ "dbr.cc" ],
      'conditions': [
          ['OS=="linux"', {
            'defines': [
              'LINUX_DBR',
            ],
            'include_dirs': [
                "/home/xiao/Dynamsoft/BarcodeReader4.0/Include"
            ],
            'libraries': [
                "-lDynamsoftBarcodeReaderx64", "-L/home/xiao/Dynamsoft/BarcodeReader4.0/Redist"
            ],
            'copies': [
            {
              'destination': 'build/Release/',
              'files': [
                '/home/xiao/Dynamsoft/BarcodeReader4.0/Redist/libDynamsoftBarcodeReaderx64.so'
              ]
            }]
          }],
          ['OS=="win"', {
            'defines': [
              'WINDOWS_DBR',
            ],
            'include_dirs': [
                "E:\Program Files (x86)\Dynamsoft\Barcode Reader 4.3\Components\C_C++\Include"
            ],
            'libraries': [
                "-lE:\Program Files (x86)\Dynamsoft\Barcode Reader 4.3\Components\C_C++\Lib\DBRx64.lib"
            ],
            'copies': [
            {
              'destination': 'build/Release/',
              'files': [
                'E:\Program Files (x86)\Dynamsoft\Barcode Reader 4.3\Components\C_C++\Redist\DynamsoftBarcodeReaderx64.dll'
              ]
            }]
          }],
          ['OS=="mac"', {
            'defines': [
              'MAC_DBR',
            ],
            'include_dirs' : [
                "/Applications/Dynamsoft/Barcode\ Reader\ 4.1/Include"
            ],
            'libraries': [
                "-lDynamsoftBarcodeReader"
            ]
          }]
      ]
    }
  ]
}

配置构建环境：

node-gyp configure

编译工程：

node-gyp build

创建dbr.js测试下：

var dbr = require('./build/Release/dbr');
var readline = require('readline');
var fs = require('fs');
var barcodeTypes = 0x3FF | 0x2000000 | 0x8000000 | 0x4000000; // 1D, QRCODE, PDF417, DataMatrix
 
function decodeFile(fileName) {
    dbr.decodeFile(
        fileName, barcodeTypes,
        function(msg) {
            var result = null;
            for (index in msg) {
                result = msg[index]
                console.log("Format: " + result['format']);
                console.log("Value : " + result['value']);
                console.log("##################");
            }
        }
    );
}
 
var rl = readline.createInterface({
    input: process.stdin,
    output: process.stdout
});
 
rl.question("Please input a barcode image path: ", function(answer) {
    decodeFile(answer);
    rl.close();
});

异步接口

虽然这样封装接口也是通过回调函数返回的，但是所有的工作都在主线程中，会造成堵塞。解决的方法就是把耗时的工作放到工作线程中。使用接口uv_queue_work(uv_loop_t* loop, uv_work_t* req, uv_work_cb work_cb, uv_after_work_cb after_work_cb)可以把任务放到libuv的线程池中。

新建接口decodeFileAsync：

/*
 *  decodeFileAsync(fileName, barcodeTypes, callback)
 */
void DecodeFileAsync(const FunctionCallbackInfo<Value>& args) {
    Isolate* isolate = Isolate::GetCurrent();
    HandleScope scope(isolate);
 
    // get arguments
    String::Utf8Value fileName(args[0]->ToString()); // file name
    char *pFileName = *fileName;
    __int64 llFormat = args[1]->IntegerValue(); // barcode types
    Local<Function> cb = Local<Function>::Cast(args[2]); // javascript callback function
 
    // initialize BarcodeWorker
    BarcodeWorker *worker = new BarcodeWorker;
    worker->request.data = worker;
    strcpy(worker->filename, pFileName);
    worker->callback.Reset(isolate, cb);
    worker->llFormat = llFormat;
    worker->pResults = NULL;
    worker->buffer = NULL;
     
    uv_queue_work(uv_default_loop(), &worker->request, (uv_work_cb)DetectionWorking, (uv_after_work_cb)DetectionDone);
}
 
void Init(Handle<Object> exports) {
    NODE_SET_METHOD(exports, "decodeFile", DecodeFile);
    NODE_SET_METHOD(exports, "decodeFileAsync", DecodeFileAsync);
}

把条形码的解码识别工作放到uv_work_cb回调函数中：

/*
 *  uv_work_cb
 */
static void DetectionWorking(uv_work_t *req)
{
    // get the reference to BarcodeWorker
    BarcodeWorker *worker = static_cast<BarcodeWorker *>(req->data);
 
    // initialize Dynamsoft Barcode Reader
    int iMaxCount = 0x7FFFFFFF;
    ReaderOptions ro = {0};
    pBarcodeResultArray pResults = NULL;
    ro.llBarcodeFormat = worker->llFormat;
    ro.iMaxBarcodesNumPerPage = iMaxCount;
 
    // decode barcode image
    int ret = 0;
    if (worker->buffer) 
    {
        ret = DBR_DecodeStream(worker->buffer, worker->size, &ro, &pResults);
    }
    else
    {
        ret = DBR_DecodeFile(worker->filename, &ro, &pResults);
    }
     
    if (ret)
        printf("Detection error code: %d\n", ret);
 
    // save results to BarcodeWorker
    worker->errorCode = ret;
    worker->pResults = pResults;
}

uv_after_work_cb回调函数用来在主线程显示结果：

/*
 *  uv_after_work_cb
 */
static void DetectionDone(uv_work_t *req,int status)
{
    Isolate* isolate = Isolate::GetCurrent();
    HandleScope scope(isolate);
 
    // get the reference to BarcodeWorker
    BarcodeWorker *worker = static_cast<BarcodeWorker *>(req->data);
 
    // get barcode results
    pBarcodeResultArray pResults = worker->pResults;
    int errorCode = worker->errorCode;
    int count = pResults->iBarcodeCount;
    pBarcodeResult* ppBarcodes = pResults->ppBarcodes;
    pBarcodeResult tmp = NULL;
 
    // array for storing barcode results
    Local<Array> barcodeResults = Array::New(isolate);
 
    for (int i = 0; i < count; i++)
    {
        tmp = ppBarcodes[i];
 
        Local<Object> result = Object::New(isolate);
        result->Set(String::NewFromUtf8(isolate, "format"), String::NewFromUtf8(isolate, GetFormatStr(tmp->llFormat)));
        result->Set(String::NewFromUtf8(isolate, "value"), String::NewFromUtf8(isolate, tmp->pBarcodeData));
        barcodeResults->Set(Number::New(isolate, i), result);
    }
 
    // release memory of barcode results
    DBR_FreeBarcodeResults(&pResults);
 
    // run the callback
    const unsigned argc = 1;
    Local<Value> argv[argc] = {barcodeResults};
    Local<Function> cb = Local<Function>::New(isolate, worker->callback);
    cb->Call(isolate->GetCurrentContext()->Global(), argc, argv);
 
    // release memory of BarcodeWorker
    delete worker;
}

修改dbr.js调用异步接口：

var dbr = require('./build/Release/dbr');
var readline = require('readline');
var fs = require('fs');
var barcodeTypes = 0x3FF | 0x2000000 | 0x8000000 | 0x4000000; // 1D, QRCODE, PDF417, DataMatrix
 
function decodeFileAsync(fileName) {
    dbr.decodeFileAsync(
        fileName, barcodeTypes,
        function(msg) {
            var result = null;
            for (index in msg) {
                result = msg[index]
                console.log("Format: " + result['format']);
                console.log("Value : " + result['value']);
                console.log("##################");
            }
        }
    );
}
 
var rl = readline.createInterface({
    input: process.stdin,
    output: process.stdout
});
 
rl.question("Please input a barcode image path: ", function(answer) {
    decodeFileAsync(answer);
    rl.close();
});

源码

https://github.com/yushulx/nodejs-barcode-for-win-linux-mac

yushulx
关注
nodejs libuv学习
weixin_39348514的博客
04-14 532
读了一下libuv源代码，简单记录一些见解 https://github.com/libuv/libuvlibev就是一个基于epoll封装事件的函数库，自身不带有线程池等操作而libuv则是在libev基础上，加上线程操作的功能,大体运作流程如下：主线程负责利用epoll来监察事件的到来，但有事件过来，则把事件交到异步工作线程，然后注册一个文件描述符(epoll_wait就可以知道什么时候...
[Nodejs原理] 核心库Libuv入门（Hello World篇）
cpongo881
07-31 669
Libuv是什么？1. 简介Libuv是一个高性能的，事件驱动的异步I/O库，它本身是由C语言编写的，具有很高的可移植性。libuv封装了不同平台底层对于异步IO模型的实现，所以它还本身...
Nodejs的运行原理-libuv篇
weixin_30297281的博客
03-07 421
前言 这应该是Nodejs的运行原理的第7篇分享，这篇过后，短时间内不会再分享Nodejs的运行原理，会停更一段时间，PS：不是不更，而是会开挖新的坑，最近有在研究RPG Maker MV，区块链，云计算，可能会更新一些相关文章，或者相关教学。 回到正题，异步编程的难点在于请求与响应不是按顺序发生的。以http server 为例，异步编程赋予了server 高并发的品质，而且他可以以很小的资...
巧妙的 Node.js：Node.js 中的 Libuv
新华编程特战队
03-09 1012
Libuv 是一个用编程语言 C 编写的库，它帮助 nodejs 在并行运行任务的同时提高效率。但是，nodejs 已经有异步 API。如果异步 API 在 nodejs 中不可用并且进程阻止了操作，则它使用 Libuvs 的线程池。Libuv 本身不执行任务，它只管理操作。考虑到我们有技能和潜力来发展我们的职业生涯。但是我们需要一个导师来培养它，我们可以很好地利用它。所以，Libuv 是 nodejs 的一种导师。考虑到进入活动只有一个大门，并且有三类人：A、B 和 C。
Node.js异步I/O学习笔记
10-25
Node.js通过libuv库来抽象封装各平台异步I/O的实现，保证了Node.js的跨平台兼容性。 Node.js的异步I/O实现依赖于其事件循环机制。Node.js在进程启动时创建一个无限循环，每个循环称为Tick，负责检查并处理等待的...
Node.js 如何利用异步提升任务处理速度
10-17
早期Node.js版本中，开发者经常使用回调函数处理异步操作，但随着JavaScript语言的发展，Promise和async/await成为了更加优雅的处理异步代码的方法。 - 回调函数（callback）：将一个函数作为参数传递给另一个函数...
Node.js事件循环（Event Loop）和线程池详解
10-24
Node.js使用libuv库来管理线程池，这个线程池提供了执行异步任务的能力。在某些情况下，如果I/O操作不能被立即执行，Node.js会将任务派发到线程池中，线程池完成任务后，就会通过事件循环将结果返回到主线程。 Node...
小结Node.js中非阻塞IO和事件循环
10-25
事件循环机制在JavaScript中已经存在，但在Node.js中被利用来处理IO操作的异步回调。事件循环的工作方式是，当一个事件发生（比如IO操作完成），对应的回调函数会被推入到一个队列中。事件循环会不断检查调用栈，...
libuv-v1.9.0.tar.gz
11-03
libuv是一个开源的、跨平台的库，主要用于处理异步I/O操作，它被广泛应用于Node.js中作为其核心的事件循环机制。libuv-v1.9.0是该库的一个稳定版本，为开发者提供了强大的工具，以实现高效、非阻塞的网络编程。本文...
Node.js-worker-threads-pool轻松管理Node.js工作线程池
08-10
worker-threads-pool：轻松管理Node.js工作线程池
poolifier:实现快速且小型的 Nodejs 线程池
07-24
节点线程池和集群池 :fast_up_button: :ON!_arrow: 为什么是Poolifier？ Poolifier 用于在 nodejs 服务器上执行 CPU 密集型和 I/O 密集型任务，它使用 和使用 Node.js 的集群池实现工作池（是的，更多的工作池实现，所以你可以选择更适合你的） 模块。 使用 poolifier，您可以提高性能并解决与事件循环相关的问题。 此外，您可以使用旨在改善开发人员体验的 API 来执行您的任务。 请查阅我们的一般指南 表现 :horse: 基准 安全 :bank: :police_officer: 使用方便 :woman_and_man_holding_hands: 从一个池轻松切换到另一个池，易于调整 :check_mark: 动态池大小 :check_mark: 没有运行时依赖 :check_mark: 与节点异步挂钩正确的异步集成 :check_mark: 支持工作线程和集群节点模块 :check_mark: 支持同步和异步任务 :check_mark: 使用池的一般指南 :check_mark: 广泛测
node.js源码之libuv(一) —— 第一个libuv测试程序
找个地方……
07-18 385
说明: 所有libuv的程序源码来自于http://luohaha.github.io/Chinese-uvbook/source/basics_of_libuv.html 前提：建了一个project项目 下载 在libuv官网(https://dist.libuv.org/dist/)下载选择喜欢的版本。我下了最新片1.9.1（虽说是最新版， 也是16年更新的） 解压 tar...
libuv异步任务
心清的专栏
06-09 1281
libuv有一个异步机制，你可以将要执行的任务放到一个线程池里执行，从而使得主线程能够执行其他任务而不受阻塞。 将一个任务提交到线程池里的接口为： int uv_queue_work(uv_loop_t* loop, uv_work_t* req, uv_work_cb work_cb, uv_after_work_cb after_work_cb) 接口的参数简单明了，其中值得注意的是u...
nodejs线程池库
标子 的专栏
10-16 1159
重新实现了新版的nodejs线程池库。有兴趣的可以使用。 https://github.com/theanarkh/nodejs-threadpool npm i nodejs-threadpool
Nodejs 第七十一章（libuv）
最新发布
qq1195566313的博客
05-15 1205
在Nodejs中，事件循环分为6个阶段。每个阶段都有一个任务队列。当Node启动时，会创建一个事件循环线程，并依次按照下图所示顺序进入每个阶段，执行每个阶段的回调。在Node.js中，libuv是作为其事件循环和异步I/O的核心组件而存在的。Node.js是构建在libuv之上的，它利用libuv来处理底层的。这个时间戳通常用于计算定时器的超时时间和检查事件的发生时间，而。官网解释过这个原因，是因为，在事件循环的每个循环迭代中，libuv会调用。在nodejs不同版本微任务执行策略不同。
nodejs线程池的设计与实现
标子 的专栏
10-19 2614
nodejs虽然提供了线程的能力，但是很多时候，往往不能直接使用线程或者无限制地创建线程，比如我们有一个功能是cpu密集型的，如果一个请求就开一个线程，这很明显不是最好的实践，这时候，我们需要使用池化的技术，本文介绍在nodejs线程模块的基础上，如何设计和实现一个线程池库（github仓库或npm i nodejs-threadpool）。下面是线程池的总体架构。 设计一个线程池，在真正写代码之前，有很多设计需要考虑，大概如下： 1任务队列的设计，一个队列，多个线程互斥访问，或者每个线程一个队列，不需要
巧妙的 Node.js：线程池和操作系统操作
新华编程特战队
03-09 1057
Node.js使用单个线程执行 JavaScript 代码。因此，一次只能执行一行。但是，Node js 可以是多线程的，因为它通过 libuv 模块在 js 中包含隐藏线程，该模块处理网络请求和从光盘读取文件等任务。Node.js引入了工作线程模块，它允许我们同时启动和运行多个作业。这些工作线程将 CPU 密集型任务分配给大量工作线程以进行优化。线程就像一个小进程：它们有自己的指令指针，一次可以执行一个 Javascript 任务。线程驻留在进程的内存中，它们没有内存。线程的执行与进程的执行类似。
Nodejs事件引擎libuv源码剖析之：高效队列（queue）的实现
weixin_30724853的博客
11-10 162
声明：本文为原创博文，转载请注明出处。 在libuv中，有一个只使用简单的宏封装成的高效队列（queue），现在我们就来看一下它是怎么实现的。 首先，看一下queue中最基本的几个宏： 1 typedef void *QUEUE[2]; 2 3 /* Private macros. */ 4 #define QUEUE_NEXT(q) (...
libuv线程池实际使用
04-04
libuv线程池是一个高度优化的线程池实现，主要用于处理异步I/O操作。在实际使用中，可以通过以下步骤使用libuv线程池： 1. 创建一个线程池对象：可以使用uv_threadpool_create()函数创建一个线程池对象，该函数需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值