ok_YeS_NO的博客

原创 笔记：Ubuntu环境下AMD AI MAX 395+ 使用ROCm加速并本地部署千问Qwen模型

本文详细介绍了在Ubuntu 22.04系统上部署Qwen3系列大模型的完整流程。主要内容包括：1) 安装ROCm 7.0驱动，配置AMD GPU环境；2) 搭建Docker环境并准备vLLM镜像；3) 分步骤部署Qwen3-32B主模型、Qwen3-Embedding向量化模型和Qwen3-Reranker重排序模型，涵盖模型下载、容器启动和验证测试全过程。文章提供了详细的命令行操作指南，特别针对ROCm环境下的AMD显卡适配问题尝试已有方案，并分享了FastAPI服务封装。