PgQueuer：基于PostgreSQL的高效任务队列库

PgQueuer：基于PostgreSQL的高效任务队列库

PgQueuer PgQueuer is a Python library leveraging PostgreSQL for efficient job queuing. 项目地址: https://gitcode.com/gh_mirrors/pg/PgQueuer

1. 项目介绍

PgQueuer 是一个基于 Python 的 minimalist 高性能任务队列库，利用 PostgreSQL 的强大功能进行任务管理。它设计简洁高效，使用 PostgreSQL 的 LISTEN/NOTIFY 机制来轻松管理任务队列。

2. 项目快速启动

首先，确保您已经安装了 PostgreSQL 数据库。

安装 PgQueuer

使用 pip 命令安装 PgQueuer：

pip install pgqueuer

创建数据库和表

在 PostgreSQL 中创建一个新的数据库，并为 PgQueuer 创建所需的表：

CREATE DATABASE pgqueuer;

\connect pgqueuer

CREATE TABLE jobs (
    id SERIAL PRIMARY KEY,
    queue_name VARCHAR(255) NOT NULL,
    payload BYTEA NOT NULL,
    status VARCHAR(50) NOT NULL DEFAULT 'queued',
    created_at TIMESTAMP WITH TIME ZONE DEFAULT CURRENT_TIMESTAMP
);

启动 PgQueuer

创建一个 Python 脚本，用于启动 PgQueuer：

from pgqueuer import QueueManager, AsyncpgDriver

async def main():
    dsn = 'postgresql://user:password@localhost/pgqueuer'
    connection = await asyncpg.connect(dsn)
    driver = AsyncpgDriver(connection)
    qm = QueueManager(driver)
    
    # 定义任务处理函数
    @qm.entrypoint("example_task")
    async def process_job(job):
        print(f"处理任务: {job.payload}")
    
    # 启动 PgQueuer
    await qm.run()

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

确保替换 dsn 中的 user 和 password 为您的 PostgreSQL 用户和密码。

3. 应用案例和最佳实践

消费者

创建一个长生命周期的消费者来处理队列中的任务：

from pgqueuer import QueueManager, AsyncpgDriver

async def main():
    dsn = 'postgresql://user:password@localhost/pgqueuer'
    connection = await asyncpg.connect(dsn)
    driver = AsyncpgDriver(connection)
    qm = QueueManager(driver)
    
    @qm.entrypoint("example_task")
    async def process_job(job):
        print(f"处理任务: {job.payload}")
    
    await qm.run()

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

生产者

创建一个短生命周期的生产者来添加任务到队列：

from pgqueuer import AsyncpgDriver, Queries

async def main():
    dsn = 'postgresql://user:password@localhost/pgqueuer'
    connection = await asyncpg.connect(dsn)
    driver = AsyncpgDriver(connection)
    queries = Queries(driver)
    
    await queries.enqueue('example_task', ['任务数据'])

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

4. 典型生态项目

目前，没有特定的生态项目直接与 PgQueuer 集成。但是，您可以结合其他 Python 库，如 Flask 或 Django，将 PgQueuer 集成到您的 Web 应用程序中，实现任务队列的管理。此外，也可以探索与 Celery 等任务队列系统的集成可能性。

PgQueuer PgQueuer is a Python library leveraging PostgreSQL for efficient job queuing. 项目地址: https://gitcode.com/gh_mirrors/pg/PgQueuer