FastAPI 教程：FastAPI+Tortoise-ORM+Celery+Websocket+Redis+PostgreSQL 示例

于 2024-08-16 10:25:35 发布
阅读量819 收藏 15
点赞数 8
分类专栏： 编程语言 - python 文章标签： fastapi websocket redis python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011521019/article/details/141252514
版权

1. 写在前面

基于 FastAPI 框架，展示 FastAPI + Tortoise-ORM + Celery + Websocket + Redis + PostgreSQL 搭配构建一个简单异步微服务 Demo 示例；

示例地址：https://github.com/jianpengzhang/fastapi-common-tmpl

开发文档：./docs:

在这里插入图片描述

1. 技术栈

  • Python：3.11.7+；
  • FastAPI： 构建 API Web 框架；
  • Tortoise-ORM：Asyncio ORM （对象关系映射器）库；
  • Celery：分布式任务队列，异步任务/定时任务;
  • Websocket：客户端和 服务器之间的持久性连接，提供双向、 全双工通信;
  • Redis：分布式锁、缓存；
  • PostgreSQL：数据库；

2. 项目结构

$ tree -L 5
.
├── app
│ ├── api                           # Demo：Restful api 接口
│ │ └── v1
│ │     ├── api.py                  # Demo：路由注册
│ │     ├── endpoints
│ │     │ ├── groups.py             # Demo：Group CRUD 接口示例
│ │     │ ├── others.py             # Demo：Redis、Websocket、WS 接口示例
│ │     │ ├── users.py              # Demo：User CRUD 接口示例
│ │     │ └── websockets.py         # Demo：Websocket 接口示例
│ ├── config.py                     # Demo：App Config 配置
│ ├── core
│ │ ├── celery_config.py            # Demo：Celery Config 配置
│ │ ├── celery.py                   # Demo：Celery App 入口
│ │ ├── logger.py                   # Demo：Log 工作库
│ │ ├── redis.py                    # Demo：Redis 工作库
│ │ ├── utils.py                    # Demo：通用工具库
│ │ └── websockets.py               # Demo：基础类及自定义 Websocket
│ ├── main.py                       # Demo：App入口及内置健康检查 API
│ ├── models
│ │ ├── base.py                     # Demo：基础数据模型
│ │ └── examples.py                 # Demo：数据模型（User、Group）
│ ├── schemas
│ │ └── examples.py                 # Demo：定义数据模型 Pydantic 模式（schemas），用于在应用程序中进行数据验证和序列化/反序列化
│ ├── services
│ │ └── examples.py                 # Demo：Services 层示例
│ └── tasks
│     ├── scheduler_tasks.py        # Celery 定时任务
│     └── tasks.py                  # Celery 异步任务
├── docs                            # 开发说明
├── deploy
│ └── docker-compose
│     ├── docker-compose.yml        # docker-compose 部署 yaml 文件 
│     └── env.template              # 环境变量配置
├── Dockerfile                      # 构建容器镜像
├── LICENSE                         # LICENSE 授权
├── migrations                      # 迁移文件
├── pyproject.toml                  # 项目管理
├── README.md                       # 项目说明
├── requirements.txt                # Demo 依赖项
└── tests                           # 单侧用例

3. 项目配置

cp ./deploy/docker-compose/env.template ./deploy/docker-compose/.env

BACKEND_IMAGE=$IMAGE             # 部署镜像
DEBUG=false

# postgres 数据库配置
POSTGRES_HOST=example-postgres   # PostgreSQL 访问地址，默认是容器名称
POSTGRES_PORT=5432               # PostgreSQL 端口，默认 5432
POSTGRES_USER=example             # PostgreSQL 访问用户
POSTGRES_PASSWORD=example123       # PostgreSQL 访问密码
POSTGRES_DB=example              # PostgreSQL 访问数据库
DB_POOL_MAX=100                  # PostgreSQL 最大连接数
DB_POOL_CONN_LIFE=-1

# redis配置
REDIS_HOST=example-redis         # Redis 访问地址，默认是容器名称
REDIS_PORT=6379                  # Redis 端口，默认 6379
REDIS_USER=                      # Redis 访问用户
REDIS_PWD=                       # Redis 访问密码

4. Migrations 数据库迁移

Aerich 是 TortoiseORM 的数据库迁移工具。当前 Demo 示例，会通过 example-migrations 容器完成数据迁移及初始化工作。若有自定义可参考如下命令操作；

（1）初始化：

执行 aerich 初始化：aerich init -t 指定配置，项目初始阶段执行;

aerich init -t config.TORTOISE_ORM

将会在目录下生成空的 migrations 文件夹和 pyproject.toml 文件

（2）初始化数据库

将模型映射到数据库中:

aerich init-db

此时数据库中就会生成对应的表。

（3）【日常命令】更新模型迁移文件

更新数据模型后，重新生成SQL迁移文件。

aerich migrate

（4）【日常命令】升级到最新版本

执行迁移文件更新数据库：

aerich upgrade

或

aerich upgrade xxxxx.py

（5）【日常命令】降级到指定版本

数据库回滚到指定版本：

aerich downgrade

或

aerich downgrade xxxxx.py

（6）【日常命令】查看历史迁移记录

aerich history

（7）【日常命令】显示迁移的 heads

aerich heads

5. Docker 部署

下载代码，例：git clone xxxx.xxx.xxx

（1）构建镜像

# 进入 Demo 根目录
cd ./fastapi-common-tmpl

# 构建镜像 1.0
docker build -t fastapi-common-tmpl:1.0 .

# 检查镜像
docker images | grep fastapi-common-tmpl

（2）env 环境变量配置

修改环境变量: mv ./deploy/docker-compose/env.template ./deploy/docker-compose/.env

# 指定 Demo 部署版本
BACKEND_IMAGE=fastapi-common-tmpl:1.0

# 数据库配置
POSTGRES_HOST=postgres
POSTGRES_PORT=5432
POSTGRES_USER=example
POSTGRES_PASSWORD=example123
POSTGRES_DB=example
DB_POOL_MAX=100
DB_POOL_CONN_LIFE=-1

# Redis 配置
REDIS_HOST=redis
REDIS_PORT=6379

（3）docker-compose 部署

根据需要修改：volumes 挂载点


vi ./deploy/docker-compose/docker-compose.yml

...
volumes:
  example-data-postgres:
    name: example-data-postgres
    driver: local
    driver_opts:
      o: bind
      type: none
      # 自定义 Host 挂载点
      device: /data/example/postgres
  example-data-redis:
    name: example-data-redis
    driver: local
    driver_opts:
      o: bind
      type: none
      # 自定义 Host 挂载点
      device: /data/example/redis

例如：

sudo mkdir /data/example/postgres
sudo mkdir /data/example/redis

启动：

docker-compose -f ./deploy/docker-compose/docker-compose.yml up -d

关闭：

docker-compose -f ./deploy/docker-compose/docker-compose.yml down

检查服务状态：

linux@jpzhang-dev:~/workspace/fastapi-common-tmpl$ docker ps -a

CONTAINER ID   IMAGE                   COMMAND                   CREATED         STATUS                            PORTS                                       NAMES
e0472333beb8   fastapi-common-tmpl:1.5   "celery -A app.core.…"   5 seconds ago   Up 3 seconds                                                                  example-celery
e5e97d5cb8c9   fastapi-common-tmpl:1.5   "celery -A app.core.…"   5 seconds ago   Up 3 seconds                                                                  example-scheduler
f978ad857466   fastapi-common-tmpl:1.5   "uvicorn app.main:ap…"   5 seconds ago   Up 3 seconds                      0.0.0.0:9000->9000/tcp, :::9000->9000/tcp   example-backend
dc241da98f18   fastapi-common-tmpl:1.5   "python init_data.py"     5 seconds ago   Exited (0) 2 seconds ago                                                      example-migrations
a72f7811771b   postgres:14.13          "docker-entrypoint.s…"   5 seconds ago   Up 4 seconds (health: starting)   0.0.0.0:5432->5432/tcp, :::5432->5432/tcp   example-postgres
430276b3216c   redis:7.0.15            "docker-entrypoint.s…"   5 seconds ago   Up 4 seconds (healthy)            0.0.0.0:6379->6379/tcp, :::6379->6379/tcp   example-redis

服务介绍：

  • example-celery: Celery 异步任务服务；
  • example-scheduler: Celery 定时任务服务；
  • example-backend: 示例 Demo API 服务；
  • example-migrations: 数据库迁移及数据初始化服务，仅运行一次；
  • example-postgres: PostgreSQL 服务；
  • example-redis: Redis 服务；

（4）Demo Swagger UI

访问地址：http://<HOST IP>:9000/docs/

感谢您花时间阅读文章!
关注公众号不迷路!
Mr_扛扛
关注
  • 8
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastAPI_Tortoise_template:FastAPI-Tortoise ORM-Celery-Docker模板
05-14
基本的FastAPI模板 包括 -FastAPI -TortoiseORM -艾里奇 -用户模型+ JWT身份验证 -注册+密码重置电子邮件 -记录到文件 - 芹菜 -高山Dockerfile -Docker组成文件 -NGINX + certbot 安装 复制template.config.py-> ...
python酒店管理系统，fastapi框架，采用mysql数据库，采用了tortoise-orm连接数据库
01-16
在本项目中，我们主要探讨的是一个基于Python的酒店管理系统，该系统采用了现代Web开发框架FastAPI以及关系型数据库MySQL，并且利用了Tortoise-ORM进行数据操作。以下是关于这些关键技术点的详细说明。 首先，...
构建Python微服务架构：FastAPI项目解析与指南
最新发布
gitblog_00905的博客
08-16 862
构建Python微服务架构：FastAPI项目解析与指南 Building-Python-Microservices-with-FastAPIBuilding Python Microservices with FastAPI, published by Packt项目地址:https://gitcode.com/gh_mirrors/bu/Building-Python-Microservic...
引领微服务新潮流：fastapi-celery-docker 架构探索与实践
gitblog_00070的博客
06-20 288
???? 引领微服务新潮流：fastapi-celery-docker 架构探索与实践 项目地址:https://gitcode.com/karthikasasanka/fastapi-celery-redis-rabbitmq 一、项目介绍 在微服务架构和异步任务处理领域中，有一个令人瞩目的开源项目正在悄悄改变我们的开发方式——fastapi-celery-docker. 这款项目巧妙地结合了Fast...
Fastapi 结合异步tortoise-orm和apscheduler 实现定时任务配置
qiangyanwne0201的博客
06-23 347
fastapi 和tortoise-orm 结合apscheduler支持定时任务实现的配置
快速启动您的微服务监控：FastAPI + Prometheus + Grafana
gitblog_00085的博客
06-13 612
???? 快速启动您的微服务监控：FastAPI + Prometheus + Grafana fastapi-prometheus-grafanaFasAPI + Prometheus + Grafana! :tada:项目地址:https://gitcode.com/gh_mirrors/fa/fastapi-prometheus-grafana 在当今的微服务架构中，实时监控和数据可视化对于系统...
推荐使用：快速提升FastAPI开发效率的神器 - FastAPI-Utils
gitblog_00512的博客
08-09 469
推荐使用：快速提升FastAPI开发效率的神器 - FastAPI-Utils fastapi-utilsReusable utilities for FastAPI项目地址:https://gitcode.com/gh_mirrors/fa/fastapi-utils 在快节奏的技术迭代中，开发高效、简洁的API已成为现代软件开发的核心需求。针对这一痛点，我们发现了一个宝藏开源工具——Fast...
redis+celery（python）解决fastapi(示例)异步任务，定时任务详解
qq_51718617的博客
11-13 3000
简介老样子，我指定给你教会咯，学不会你来找我简介fastapi你访问一个接口，当这个接口执行一个非常耗时的任务的时候，其他的接口根本没办法访问，直接给你卡死，除非等这个接口的程序运行完。为什么，因为同步和异步的问题。那么我告诉你今天这个问题不存在了。
FastAPI+MySQL+Tortoise+Casbin 大型项目模板框架.zip
03-14
《FastAPI+MySQL+Tortoise+Casbin：构建大型项目模板框架》 在现代Web开发中，构建高效、安全且可扩展的大型项目框架至关重要。FastAPI、MySQL、Tortoise ORM 和 Casbin 是一组强大的工具，可以共同助力开发者构建...
aerich：用于Tortoise-ORM的数据库迁移工具，已准备好投入生产
02-02
Aerich是Tortoise-ORM的数据库迁移工具，它与SQLAlchemy的alembic或Django ORM一起拥有自己的迁移解决方案。 重要提示：您只能在models.py使用绝对导入来使aerich工作。 安装 只需从pypi安装： > pip install ...
2023/08/11 教学工具fastapi+tortoise ，后端基本框架
08-11
FastAPI是一个现代化、高性能的Web API框架，而Tortoise则是一个基于异步的ORM（对象关系映射）库，专为Python设计。 FastAPI以其简洁的语法、强大的类型检查和自动化的API文档而备受赞誉。在创建JWT（JSON Web ...
fastapi-celery-example
03-09
将芹菜与FastAPI结合使用 该存储库使用FastAPI实现的第二个示例。 快速开始 使用docker-compose运行 只需一行命令docker-compose up -d即可启动redis，Fastapi服务器，flower和我们的worker。 然后只需转到尝试我们的应用程序即可！ 并通过通过花监视芹菜任务的执行！ 在没有docker的情况下运行 克隆此存储库。 启动本地Redis服务器。 启动芹菜工人： 在Linux OS上： celery -A celery_app worker --loglevel=info 在Windows操作系统上： celery -A celery_app worker --pool=solo --loglevel=info 启动芹菜花进行监视。 celery -A main.celery_app flower 启动Fastapi W
docker-django-celery:Dockerized异步作业队列Websocket反馈
05-26
Dockerized异步作业队列Websocket反馈-项目模板/演示-进行中 概述： 用户登录django应用，然后生成一次令牌并将其存储到Redis缓存中并发送回给用户 用户使用令牌来认证并建立与aiohttp异步Web服务器的websocket连接 用户安排一份作业（可能长时间运行）以供芹菜处理 Celery完成作业处理，然后通过rabbitmq将状态更新发送到aiohttp异步服务器 异步服务器确认已登录的用户和活动的Websocket连接，然后将消息发送到前端 用户收到警报，然后刷新页面 跑步 安装docker，docker-compose并运行docker-compose build （除非Dockerfile更改，仅需构建一次），然后docker -compose up （请参阅以下说明）。 Django在docker的8008端口上，而aiohttp异步服务器在8009的
Python-WSCelery使用websockets的实时celery监控
08-10
WS Celery 使用websockets的实时celery监控
【Python随笔】python轻量级消息队列库celery在fastapi的应用
HiKariのTechLab
11-29 8162
python语言，一般适用于快速实现业务需求的用途，在大型架构方面其应用范围并没有Java、Golang以及C++那么丰富，因此相对来讲还没有形成非常统一的技术体系。在某些需求中可能需要开发多个服务，服务之间需要实现异步通信，甚至是调用对方的函数。celery就是一个典型的例子，它提供了以将python函数注册到消息队列的方式暴露服务的方法，并且支持RabbitMQ、Redis等多种Broker中间代理形式。 celery同时也支持多个python的web框架，在其介绍页中，也明确说明了Tornado、Dj
【FastAPI后台API 十】使用Redis
王小右的博客
07-29 8904
在FastAPI中 使用Redis 本来是想直接使用redsi的， 但是查阅资料都是使用aioredis， 所谓一步异步就得处处异步 FastAPI官网关于异步的解释描述 https://fastapi.tiangolo.com/async/ 建议要使用FastAPI的人，都看看作者关于异步的描述 思路 把redis_cli对象挂载到FastAPI app 对象上面，然后在视图函数中使用默认的回调参数request对象获取 参考链接 https://github.com/tiangolo/fastapi
一个简单的Demo展示fastapi+tortoise-orm+celery如何搭配
jaket5219999的博客
04-03 586
8. 启动Celery Worker。1. 创建并激活虚拟环境。3. 配置数据库连接参数。4. 定义表结构(直接从。9. 打开浏览器验证效果。5. 配置celery。
【服务器部署】两个Vue3+Django+Celery+Websocket部署
weixin_53950583的博客
11-12 1121
django+celery+websocket的部署
fastapi Tortoise-ORM、SQLAlchemy、peewee使用orm查询的例子
06-09
以下是使用 FastAPI 中 Tortoise-ORM、SQLAlchemy 和 peewee 进行 ORM 查询的示例。 ## Tortoise-ORM ```python from fastapi import FastAPI from tortoise import fields from tortoise.contrib.fastapi import register_tortoise, HTTPNotFoundError from tortoise.models import Model from tortoise import Tortoise class User(Model): id = fields.IntField(pk=True) name = fields.CharField(50) email = fields.CharField(50) class Meta: table = "users" app = FastAPI() @app.on_event("startup") async def startup(): await Tortoise.init( db_url="sqlite://db.sqlite3", modules={"models": ["main"]} ) await Tortoise.generate_schemas() @app.on_event("shutdown") async def shutdown(): await Tortoise.close_connections() @app.get("/users") async def get_users(): users = await User.all() return users @app.get("/users/{user_id}") async def get_user(user_id: int): user = await User.get_or_none(id=user_id) if user is None: raise HTTPNotFoundError return user register_tortoise( app, db_url="sqlite://db.sqlite3", modules={"models": ["main"]}, generate_schemas=True, add_exception_handlers=True ) ``` ## SQLAlchemy ```python from fastapi import FastAPI from sqlalchemy import create_engine, Column, Integer, String from sqlalchemy.orm import sessionmaker from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() class User(Base): __tablename__ = "users" id = Column(Integer, primary_key=True, index=True) name = Column(String(50)) email = Column(String(50)) engine = create_engine("sqlite:///db.sqlite3") SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine) app = FastAPI() @app.get("/users") async def get_users(): db = SessionLocal() users = db.query(User).all() db.close() return users @app.get("/users/{user_id}") async def get_user(user_id: int): db = SessionLocal() user = db.query(User).filter(User.id == user_id).first() db.close() if user is None: raise HTTPNotFoundError return user ``` ## peewee ```python from fastapi import FastAPI from peewee import SqliteDatabase, Model, CharField, IntegerField from playhouse.shortcuts import model_to_dict db = SqliteDatabase("db.sqlite3") class User(Model): id = IntegerField(primary_key=True) name = CharField() email = CharField() class Meta: database = db table_name = "users" app = FastAPI() @app.on_event("startup") def startup(): db.connect() db.create_tables([User]) @app.on_event("shutdown") def shutdown(): db.close() @app.get("/users") async def get_users(): users = [model_to_dict(user) for user in User.select()] return users @app.get("/users/{user_id}") async def get_user(user_id: int): user = User.get_or_none(User.id == user_id) if user is None: raise HTTPNotFoundError return model_to_dict(user) ``` 注意：以上示例中的代码仅用于演示 ORM 查询的基本用法，并且没有进行错误处理。在实际应用中，你应该根据需要添加适当的错误处理和安全性检查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值