cluster
模块是 Node.js 提供的一个用于多进程的模块,它可以轻松地创建一组共享同一个服务器端口的子进程(worker进程)。通过使用 cluster
模块,可以充分利用多核系统,提高应用程序的性能和可靠性。
基本原理
cluster
模块基于 child_process
模块,但它专门设计用于创建多个 Node.js 进程(worker进程),这些进程可以共享同一个服务器端口。它通过主进程(主进程)和工作进程的模型来实现这一点:
- 主进程:负责管理所有的工作进程。
- 工作进程:处理实际的客户端请求。
主进程可以根据需要启动和管理多个工作进程。每个工作进程都是一个独立的 Node.js 进程。
注意关于连接:实际cluster module支持两种连接处理方式。
- 一种是由master监听并分发给worker,拿到worker结果后在返回给请求端。 这样master和请求端之间是http通信,master和worker之间是IPC通信,master类似一个agent,用于连接请求端和worker之间。(注:进程间通信(IPC - Interprocess communication)
- 一种是master监听后通知相关worker,worker直接连接connection到请求端进行交互。
第二种看起来性能更好,但在实际中由于系统调度等原因表现不佳,无法做到很好的负载,所以一般用第一种。(refs: https://nodejs.org/api/cluster.html#cluster_how_it_works)
使用 cluster
模块的基本步骤
- 检查是否是主进程:使用
cluster.isMaster
或cluster.isPrimary
检查当前进程是否是主进程。 - 主进程创建工作进程:如果是主进程,创建工作进程。
- 工作进程执行服务器代码:如果是工作进程,执行服务器代码。
以下是一个示例,展示如何使用 cluster
模块创建一个简单的 HTTP 服务器,该服务器可以使用多个工作进程来处理请求:
const cluster = require("node:cluster");
const http = require("node:http");
const numCPUs = require("node:os").cpus().length;
if (cluster.isPrimary) {
console.log(`主进程 ${process.pid} 正在运行`);
// 根据 CPU 核心数创建工作进程
for (let i = 0; i < numCPUs; i++) {
cluster.fork();
}
cluster.on("exit", (worker, code, signal) => {
console.log(`工作进程 ${worker.process.pid} 已退出`);
});
} else {
// 工作进程可以共享任何 TCP 连接
// 在本例中是一个 HTTP 服务器
http
.createServer((req, res) => {
let workerPid = process.pid;
res.writeHead(200);
res.end(`hello world, I am worker ${workerPid}\\n`);
})
.listen(8000);
console.log(`工作进程 ${process.pid} 已启动`);
}
cluster优势
- 性能提升:通过使用多个工作进程,可以充分利用多核 CPU,提升应用的并发处理能力。
- 可靠性:如果一个工作进程崩溃,不会影响其他工作进程,主进程可以重启崩溃的工作进程。
- 负载均衡:多个工作进程可以共享同一个服务器端口,自动实现负载均衡。
总结
cluster
模块提供了一种简单而强大的方式来实现 Node.js 应用的多进程处理,从而提高性能和可靠性。通过主进程和工作进程的模型,可以轻松地创建和管理多个工作进程,并让它们共享同一个服务器端口以处理高并发请求。
最后思考
最后留个思考问题,大家有没想过对于http服务,比如下面这个启动http server监听8000端口, nodejs cluster 里面可以起多个子进程, 但是如果分别起2个进程监听相同端口 比如下面这个代码连续执行两次,则后启动的进程会提示端口被占用,这是为什么 ?
有知道的小伙伴欢迎评论区留言,也欢迎大家多多点赞,点赞过20个,公布答案。
// httpServer.js
const http = require("node:http");
http
.createServer((req, res) => {
let workerPid = process.pid;
res.writeHead(200);
res.end(`hello world, I am worker ${workerPid}\n`);
})
.listen(8000);