pg-boss 使用教程
1. 项目介绍
pg-boss 是一个基于 PostgreSQL 和 Node.js 的任务队列库。它利用 PostgreSQL 的 SKIP LOCKED
特性来解决关系数据库中记录锁定的挑战,从而实现任务的异步处理和可靠的执行。pg-boss 适用于已经熟悉关系数据库操作(如 SQL 查询和备份)的团队,特别是那些已经在使用 PostgreSQL 并希望减少系统监控和支持复杂性的团队。
主要特性
- Exactly-once 任务交付:确保任务只执行一次。
- 事务内创建任务:可以在现有数据库事务中创建任务。
- 支持背压的轮询工作器:适用于高并发场景。
- Cron 调度:支持定时任务调度。
- 优先级队列、死信队列、任务延迟、自动重试:提供多种任务管理策略。
- Pub/sub API:支持发布/订阅模式。
- 多主节点兼容:适用于 Kubernetes ReplicaSet 等多主节点环境。
2. 项目快速启动
安装
首先,确保你已经安装了 Node.js 和 PostgreSQL。然后,通过 npm 或 yarn 安装 pg-boss:
# 使用 npm 安装
npm install pg-boss
# 使用 yarn 安装
yarn add pg-boss
初始化
以下是一个简单的示例,展示如何初始化 pg-boss 并创建一个任务队列:
const PgBoss = require('pg-boss');
// 初始化 pg-boss
const boss = new PgBoss('postgres://user:pass@host/database');
// 监听错误
boss.on('error', console.error);
async function start() {
// 启动 pg-boss
await boss.start();
// 创建一个任务队列
const queue = 'example-queue';
await boss.createQueue(queue);
// 发送一个任务
const id = await boss.send(queue, { arg1: 'hello' });
console.log(`created job ${id} in queue ${queue}`);
// 处理任务
await boss.work(queue, async (job) => {
console.log(`received job ${job.id} with data ${JSON.stringify(job.data)}`);
});
}
start().catch(err => {
console.error(err);
process.exit(1);
});
3. 应用案例和最佳实践
应用案例
- 后台任务处理:例如,发送电子邮件、生成报告、数据同步等。
- 定时任务:使用 Cron 调度功能,定期执行某些任务。
- 优先级任务:对于紧急任务,可以设置高优先级,确保其优先执行。
最佳实践
- 错误处理:确保在任务处理过程中捕获并处理所有可能的错误,避免任务失败。
- 任务重试:对于可能失败的任务,设置适当的重试策略,避免任务丢失。
- 监控和日志:定期监控任务队列的状态,并记录关键日志,以便及时发现和解决问题。
4. 典型生态项目
- PostgreSQL:作为 pg-boss 的后端数据库,提供任务存储和处理能力。
- Node.js:作为 pg-boss 的运行环境,提供任务的创建和处理逻辑。
- Kubernetes:用于部署和管理多实例的 pg-boss 服务,确保高可用性和扩展性。
- Prometheus:用于监控 pg-boss 的运行状态,收集和分析任务队列的性能指标。
通过以上模块的介绍,你可以快速上手并深入了解 pg-boss 的使用和最佳实践。