本地部署 Qwen3-06B

原创 已于 2025-06-24 09:45:31 修改 · 996 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型

于 2025-06-24 09:42:41 首次发布

1. 安装基础库

sudo apt-get install -y build-essential python3-dev libffi-dev libbz2-dev liblzma-dev

2. 安装openssl1.1.1

2.1 通过包管理器安装

sudo apt-get install -y libssl1.1

2.2 手动编译安装

wget https://www.openssl.org/source/openssl-1.1.1u.tar.gz

tar -xzvf openssl-1.1.1u.tar.gz

cd openssl-1.1.1u

./config --prefix=/usr/local/openssl-1.1.1 shared

make && sudo make install

echo "/usr/local/openssl-1.1.1/lib" | sudo tee /etc/ld.so.conf.d/openssl-1.1.1.conf

ldconfig

2.3 验证安装

ldconfig -p | grep libssl.so.1.1

3. 安装python3.11

wget https://www.python.org/ftp/python/3.11.10/Python-3.11.10.tgz

tar -xzvf Python-3.11.10.tgz

cd Python-3.11.10

./configure --with-openssl=/usr/local/openssl-1.1.1

make && sudo makeinstall

4. 安装NumPy（NumPy 要求 GCC 版本 ≥9.3）

4.1 安装m4

sudo apt install

最低0.47元/天 解锁文章

200万优质内容无限畅学
Ollama部署Qwen3-Embedding和Qwen3-Reranker
没刮胡子的程序员专栏
06-12 1107
wen3 Embedding系列是基于Qwen3开发的专有文本嵌入与排序模型，提供0.6B、4B和8B三种尺寸选择。该系列支持100+种语言，具备32k上下文长度，并允许自定义输出维度（32-4096）。
python - scipy 库安装
u010345711的专栏
05-02 1288
带着深深的怨念来写经验贴；针对mac用户 Python 需要安装scipy，numpy 等库； 方案一： 用 canopy 或者其他集成好的软件，省去很多安装步骤，且免费版基本功能还可以； 方案二： 用 pip 下 numpy 成功了，但是scipy就不行了，因为官方被墙了； 手动安装不要下scipy的dmg版本，安装的时候很可能会出问题；
Armbian安装numpy报错的处理
cnnews的专栏
02-27 1741
由于Armbian默认未装一些库，在安装numpy时可能会出现诸如如下错误：原因是cmake和ninja及python-dev未安装，执行如下后可以再安装numpy：
python的包
weixin_51133173的博客
04-17 1600
实验机器：ubuntu-18。
python3.5安装numpy遇到的坑《大哭》
Andreamingfan的博客
07-03 444
首先当出现 'D' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 处理方法：添加环境变量 然后D:\>pip install numpy 就好了 太不容易了，搞了快两个小时。
如何在 Ubuntu 18.04 上升级 gcc 到 9.4：一步步详细指南
草莓奶忻的博客
05-05 7233
Ubuntu 18.04 默认的源中可能没有 GCC-9.3 或更新版本，因此可以通过添加 Ubuntu Toolchain 测试 PPA 来获取更新的编译器版本。在尝试编译 PyTorch 时遇到的报错提示需要 GCC 版本 9.3 或更高，但系统中安装的是版本 7.5.0。因此，需要升级 GCC 到至少 9.3 版本。如果系统中安装了多个 GCC 版本，需要配置系统使用新安装的版本作为默认版本。
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
vllm本地部署qwen3-4b
2401_85252837的博客
07-15 994
本文详细介绍了在Ubuntu 24.04系统下使用NVIDIA RTX 3090显卡部署Qwen3-4B大语言模型的完整流程。主要内容包括：1) 创建Python 3.10虚拟环境并安装vLLM框架；2) 通过Hugging Face镜像下载Qwen3-4B模型；3) 配置参数优化显存使用（限制55%显存、最大序列长度2000）；4) 启动OpenAI兼容API服务（端口6009）；5) 测试模型推理功能。整个部署过程特别针对24GB显存的3090显卡进行了性能优化，确保模型稳定运行。
qwen2.5-7b vllm部署
11-15
qwen2.5-7b vllm部署依赖文件-vllm的知识点梳理： 1. vllm部署是指对vllm（Very Large Language Model）进行设置和启动的过程，这通常需要一系列特定的软件库和工具。qwen2.5-7b似乎是一个特定版本或特定环境下的...
python安装numpy遇到问题 显示如下 该咋办啊朋友们。。。给我整不会了。。。
weixin_56467584的博客
03-03 859
关于numpy的安装
david412306524的专栏
06-29 686
最近在CentOS下搭建spark环境，搭建的过程这的是相当的曲折+痛苦啊。。。。。 这段虐心的经历以后再说，先说下我是怎么安装Python的numpy包和scipy包的吧。。。。     刚开始时候的时候是各种百度，各种Google，都没有找到满意的答案，不是没说清楚 就是说的很麻烦让人一看就晕了，尤其是对我这种刚刚入门的菜菜来说，如果高手的话可能就会看懂了。。。本人刚接触CentOS 对基本
安装python3.9 + numpy + Matplotlib + opencv-python
热门推荐
m0_46435052的博客
04-06 1万+
源码安装python3.9 + numpy + Matplotlib + opencv-python，这个过程真的太痛苦了，是不是每个机器安装它都这么复杂呢？还是一个个例。
Numpy详细教程
s_zhchluo的博客
07-07 884
NumPy - 简介 NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库。 Numeric，即 NumPy 的前身，是由 Jim Hugunin 开发的。 也开发了另一个包 Numarray ，它拥有一些额外的功能。 2005年，Travis Oliphant 通过将 Numarray 的功能集成到 Numeric 包中来创建 NumPy 包。 这个开源项目有很多贡献者。 NumPy 操作 使用NumPy，开发人
linux下python及numpy编译环境搭建
ssbls的博客
02-15 2084
linux：redhat-server-6.7-X86-64位。 python版本：python2.7.13。 正确步骤： 1.安装 zlib。 2.安装python。 3.安装setuptools  https://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg。 4.安装pip。
Python 安装 Numpy 出现 错误：只允许在 C99 模式下使用‘for’循环初始化声明 用gcc编译出现
ytp552200ytp的博客
02-15 911
在Liunx 离线安装 Numpy 时候， python setup.py install 用gcc编译出现： 错误：只允许在 C99 模式下使用‘for’循环初始化声明 然后执行命令 CC='gcc -std=c99' python setup.pyinstall
嗯，main.py是在根目录，reranker_model.py等三个文件是在子目录app下，且app下有空文件__init__.py。我需要怎么修正每个文件？
最新发布
07-16
<think>我们根据用户提供的目录结构，将四个主要文件分别放置在正确的位置： - main.py 在项目根目录 - api_service.py 在 app 子目录 - embedding_model.py 在 app 子目录 - reranker_model.py 在 app 子目录 同时，用户要求纯CPU运行，因此我们在加载模型时需要注意： 1. 使用`torch.float32`（因为CPU上通常不使用混合精度） 2. 确保模型在CPU上运行（通过`device_map`或显式指定`device`） 另外，根据引用[2]和[3]，我们需要注意： - 模型加载方式：使用Hugging Face的`AutoModel`和`AutoTokenizer`，并指定本地路径 - 性能考虑：模型只加载一次（单例模式），避免每次调用都加载模型 根据引用[4]，我们还需要注意日志和内存使用情况。 修正后的代码结构如下： Tang_Transform/ ├── app/ │ ├── api_service.py │ ├── embedding_model.py │ ├── reranker_model.py │ └── __init__.py ├── models/ │ ├── Qwen3-Embedding-06B # 注意：目录名与用户提供的保持一致 │ └── Qwen3-Reranker-06B ├── main.py ├── core_requirements.txt ├── jsconfig.json └── requirements.txt 我们开始编写代码： 1. 在`app/embedding_model.py`中，我们将加载嵌入模型。注意：用户提供的模型目录名为`Qwen3-Embedding-06B`，因此路径要匹配。 2. 在`app/reranker_model.py`中，加载重排模型，目录名为`Qwen3-Reranker-06B`。 3. 在`app/api_service.py`中，定义FastAPI应用和路由。 4. 在`main.py`中，启动FastAPI应用。 由于模型较大，在CPU上加载需要一定时间，且需要较大的内存。我们使用单例模式确保只加载一次。 注意：在CPU上运行，我们不需要指定device（默认就是CPU），但为了清晰，可以显式设置。 下面分别给出四个文件的代码： 首先，确保每个文件中的路径正确。由于我们将模型放在`models`目录下，而`embedding_model.py`和`reranker_model.py`在`app`目录下，因此模型路径应该是相对根目录的：`../models/...`。 但是，在运行`main.py`时，当前目录是项目根目录，而`app`中的模块在导入时，相对路径是相对于当前工作目录（即项目根目录）的，因此我们在`embedding_model.py`中可以直接使用`models/Qwen3-Embedding-06B`（因为根目录下就有`models`文件夹）。 然而，为了确保路径正确，我们可以使用绝对路径（通过`os.path.dirname`和`os.path.abspath`构建）。但考虑到项目结构固定，我们使用相对根目录的路径（即从根目录开始）即可，因为服务是从根目录启动的。 另一种方案：在`main.py`中设置环境变量或传递配置，但这里为了简单，我们直接在模型加载文件中使用相对路径。 修正：在`embedding_model.py`中，模型路径为`./models/Qwen3-Embedding-06B`，这个路径是相对于项目根目录的（因为程序从根目录运行）。 但是，在`app`子目录中的模块，如果直接写`./models`，这个`./`代表的是当前工作目录（即项目根目录），所以是没问题的。 下面编写具体代码： 注意：由于用户要求纯CPU，我们不需要设置device为GPU，也不需要使用`device_map`。 代码实现： 1. `app/embedding_model.py`:</think>根据您的目录结构和需求，我将重新组织代码以实现CPU模型挂载和OpenAPI兼容端点。以下是修正后的实现方案： ### 项目结构优化 ```bash Tang_Transform/ ├── app/ │ ├── api_service.py # API端点定义 │ ├── embedding_model.py # 嵌入模型实现 │ ├── reranker_model.py # 重排模型实现 │ └── __init__.py # 包初始化文件 ├── models/ │ ├── Qwen3-Embedding-06B # 嵌入模型文件 │ └── Qwen3-Reranker-06B # 重排模型文件 ├── main.py # 应用入口 ├── core_requirements.txt ├── jsconfig.json └── requirements.txt ``` ### 1. main.py - 应用入口 ```python from app.api_service import create_app import uvicorn if __name__ == "__main__": app = create_app() uvicorn.run( app, host="0.0.0.0", port=8000, log_level="info", lifespan="off" # Windows系统需要关闭lifespan事件 ) ``` ### 2. app/api_service.py - API端点定义 ```python from fastapi import FastAPI, HTTPException, Header from pydantic import BaseModel from .embedding_model import EmbeddingModel from .reranker_model import RerankerModel import os class EmbeddingRequest(BaseModel): input: str | list[str] model: str = "qwen-embedding" class RerankRequest(BaseModel): query: str documents: list[str] model: str = "qwen-rerank" top_k: int = 10 # 从环境变量获取API密钥 API_KEY = os.getenv("X_API_KEY", "default_secret_key") def create_app(): app = FastAPI( title="Qwen3 API Service", description="OpenAI兼容的Qwen3模型API服务" ) # 初始化模型单例 embedding_model = EmbeddingModel.get_instance() reranker_model = RerankerModel.get_instance() @app.post("/v1/embeddings", response_model=dict) async def create_embedding( request: EmbeddingRequest, authorization: str = Header(None) ): """生成文本嵌入向量""" if authorization != f"Bearer {API_KEY}": raise HTTPException(401, "Invalid API key") try: embeddings = embedding_model.generate(request.input) return { "object": "list", "data": [ { "object": "embedding", "index": i, "embedding": emb.tolist() } for i, emb in enumerate(embeddings) ], "model": request.model } except Exception as e: raise HTTPException(500, str(e)) @app.post("/v1/rerank", response_model=dict) async def rerank_documents( request: RerankRequest, authorization: str = Header(None) ): """文档重排服务""" if authorization != f"Bearer {API_KEY}": raise HTTPException(401, "Invalid API key") try: scores = reranker_model.rerank( request.query, request.documents, request.top_k ) return { "results": [ { "index": idx, "document": doc, "relevance_score": float(score) } for idx, (doc, score) in enumerate(zip(request.documents, scores)) ], "model": request.model } except Exception as e: raise HTTPException(500, str(e)) @app.get("/health") async def health_check(): return {"status": "healthy"} @app.get("/openapi.json", include_in_schema=False) async def get_openapi(): return app.openapi() return app ``` ### 3. app/embedding_model.py - 嵌入模型实现 ```python import torch import os import logging from transformers import AutoModel, AutoTokenizer from typing import Union, List # 配置日志 logging.basicConfig( filename=&#39;../logs/embedding_service.log&#39;, level=logging.INFO, format=&#39;%(asctime)s - %(name)s - %(levelname)s - %(message)s&#39; ) logger = logging.getLogger("EmbeddingService") class EmbeddingModel: _instance = None @classmethod def get_instance(cls): if cls._instance is None: cls._instance = cls() return cls._instance def __init__(self): # 模型路径使用相对路径 model_path = "../models/Qwen3-Embedding-06B" if not os.path.exists(model_path): error_msg = f"模型未找到: {model_path}" logger.error(error_msg) raise FileNotFoundError(error_msg) try: logger.info(f"开始加载嵌入模型: {model_path}") self.tokenizer = AutoTokenizer.from_pretrained(model_path) self.model = AutoModel.from_pretrained( model_path, trust_remote_code=True, torch_dtype=torch.float32 # CPU使用float32 ) self.model.eval() logger.info(f"嵌入模型加载完成, 内存占用: {self._get_model_memory()} MB") except Exception as e: logger.exception("模型加载失败") raise def _get_model_memory(self) -> float: """估算模型内存占用(MB)""" param_size = sum(p.numel() * p.element_size() for p in self.model.parameters()) buffer_size = sum(b.numel() * b.element_size() for b in self.model.buffers()) return (param_size + buffer_size) / (1024 ** 2) def generate(self, input: Union[str, List[str]], chunk_size=32) -> torch.Tensor: """生成文本嵌入向量(带分块处理)""" if isinstance(input, str): input = [input] embeddings = [] for i in range(0, len(input), chunk_size): chunk = input[i:i+chunk_size] # 使用模型内置的embedding方法 chunk_embeddings = self.model.embed_documents(chunk) embeddings.append(chunk_embeddings) return torch.cat(embeddings) if embeddings else torch.tensor([]) ``` ### 4. app/reranker_model.py - 重排模型实现 ```python import torch import os import logging from transformers import AutoModelForSequenceClassification, AutoTokenizer from typing import List # 配置日志 logging.basicConfig( filename=&#39;../logs/reranker_service.log&#39;, level=logging.INFO, format=&#39;%(asctime)s - %(name)s - %(levelname)s - %(message)s&#39; ) logger = logging.getLogger("RerankerService") class RerankerModel: _instance = None @classmethod def get_instance(cls): if cls._instance is None: cls._instance = cls() return cls._instance def __init__(self): # 模型路径使用相对路径 model_path = "../models/Qwen3-Reranker-06B" if not os.path.exists(model_path): error_msg = f"模型未找到: {model_path}" logger.error(error_msg) raise FileNotFoundError(error_msg) try: logger.info(f"开始加载重排模型: {model_path}") self.tokenizer = AutoTokenizer.from_pretrained(model_path) self.model = AutoModelForSequenceClassification.from_pretrained( model_path, trust_remote_code=True, torch_dtype=torch.float32 # CPU使用float32 ) self.model.eval() logger.info(f"重排模型加载完成, 内存占用: {self._get_model_memory()} MB") except Exception as e: logger.exception("模型加载失败") raise def _get_model_memory(self) -> float: """估算模型内存占用(MB)""" param_size = sum(p.numel() * p.element_size() for p in self.model.parameters()) buffer_size = sum(b.numel() * b.element_size() for b in self.model.buffers()) return (param_size + buffer_size) / (1024 ** 2) def rerank(self, query: str, documents: List[str], top_k: int = 10) -> List[float]: """文档重排并返回相关性分数""" # 分块处理大文本输入 batch_size = 8 # 根据内存调整 scores = [] for i in range(0, len(documents), batch_size): batch_docs = documents[i:i+batch_size] # 准备模型输入 inputs = self.tokenizer( [query] * len(batch_docs), batch_docs, padding=True, truncation=True, max_length=512, return_tensors="pt" ) # CPU推理 with torch.no_grad(): outputs = self.model(**inputs) # 获取相关性分数 batch_scores = torch.sigmoid(outputs.logits).squeeze(dim=1).tolist() scores.extend(batch_scores) return scores ``` ### 关键优化点 1. **路径配置**： - 使用相对路径`../models/`访问模型目录 - 日志文件存储在`../logs/`目录 2. **安全认证**： ```python # 环境变量设置API密钥 API_KEY = os.getenv("X_API_KEY", "default_secret_key") # 请求头验证 if authorization != f"Bearer {API_KEY}": raise HTTPException(401, "Invalid API key") ``` 3. **内存优化**： - 分块处理大文本输入（`chunk_size`参数） - 内存占用监控： ```python def _get_model_memory(self) -> float: param_size = sum(p.numel() * p.element_size() for p in self.model.parameters()) buffer_size = sum(b.numel() * b.element_size() for b in self.model.buffers()) return (param_size + buffer_size) / (1024 ** 2) ``` 4. **日志系统**： - 每个服务独立日志文件 - 记录模型加载时间和内存占用 ### 部署流程 1. **创建日志目录**： ```bash mkdir logs ``` 2. **设置环境变量**： ```bash # Windows set X_API_KEY=your_secret_key # Linux/macOS export X_API_KEY=your_secret_key ``` 3. **安装依赖**： ```bash pip install -r requirements.txt ``` 4. **启动服务**： ```bash python main.py ``` 5. **API文档访问**： ``` http://localhost:8000/openapi.json ``` ### 内存占用估算 对于Qwen3-0.6B模型，纯CPU环境下的内存占用约为： $$ \text{Memory} \approx 0.6 \times 10^9 \times 4 \times 1.5 = 3.6 \text{ GB} $$ 其中： - $0.6 \times 10^9$：6亿参数 - $4$：float32字节数 - $1.5$：包含优化器和中间变量的系数[^1] ### 相关问题 1. 如何在Windows系统优化PyTorch的CPU并行计算性能？ 2. Qwen3模型在CPU推理时的最大批处理尺寸如何确定？[^1] 3. 如何实现API服务的动态批处理以提高吞吐量？ 4. 在128G内存环境下能同时加载多个Qwen3模型吗？ 5. 如何监控模型服务的资源使用情况？[^4] 6. 使用FastAPI时如何处理大文本输入的OOM问题？[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值