保姆级教程：本地部署Qwen-2.5大模型，轻松构建你的智能Agent！一站式指南在这里

最新推荐文章于 2025-03-10 00:30:00 发布

程序员辣条

最新推荐文章于 2025-03-10 00:30:00 发布

阅读量4.4k

点赞数 15

文章标签：人工智能 AI产品经理大模型学习 LLama 大模型 Qwen Agent

本文链接：https://blog.csdn.net/m0_65555479/article/details/145270545

版权

近年来，大语言模型（LLM）的能力飞速发展，今天我们来教大家如何本地部署 Qwen-2.5 模型，并构建一个简单的智能 Agent，为各种任务提供支持！

一、环境准备

在开始之前，确保你已经准备好以下条件：

1. 硬件要求：推荐一块 16GB 显存的 GPU（如 NVIDIA RTX 系列）。
1. Python 环境：建议使用 virtualenv 或 conda 创建独立的虚拟环境。
1. 必要的依赖：运行以下命令安装所需库：

pip install transformers accelerate langchain

二、加载 Qwen-2.5 模型

以下代码展示了如何加载 Qwen-2.5 模型并与其进行交互：

代码示例：

from transformers import AutoTokenizer, AutoModelForCausalLM      # 加载 Qwen-2.5 的 tokenizer 和模型   model_name = "Qwen-2.5"# 替换为你的模型路径   tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)   model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True).cuda()      defquery_model(prompt):       inputs = tokenizer(prompt, return_tensors="pt").to("cuda")       outputs = model.generate(inputs.input_ids, max_length=512, do_sample=True)       return tokenizer.decode(outputs[0], skip_special_tokens=True)      # 测试模型   prompt = "你好！请介绍一下你自己。"   response = query_model(prompt)   print("模型回答:", response)

运行上面的代码，Qwen-2.5 模型会给出答案。你可以修改 prompt 来测试不同的问题。

三、构建一个简单的智能 Agent

智能 Agent 不仅能回答问题，还能记住对话历史并进行多轮交互。以下是实现代码：

代码示例：

class QwenAgent:       def__init__(self, model, tokenizer):           self.model = model           self.tokenizer = tokenizer           self.memory = []  # 用于存储对话历史          defrespond(self, user_input):           context = "\n".join(self.memory)           prompt = f"以下是对话历史：\n{context}\n用户：{user_input}\nAI："           inputs = self.tokenizer(prompt, return_tensors="pt").to("cuda")           outputs = self.model.generate(inputs.input_ids, max_length=512, do_sample=True)           response = self.tokenizer.decode(outputs[0], skip_special_tokens=True)           self.memory.append(f"用户：{user_input}")           self.memory.append(f"AI：{response}")           return response      # 创建 Agent 实例   qwen_agent = QwenAgent(model, tokenizer)      # 测试 Agent   whileTrue:       user_input = input("你：")       if user_input.lower() in ["退出", "exit", "quit"]:           break       response = qwen_agent.respond(user_input)       print("AI：", response)

通过这个智能 Agent，你可以和 Qwen-2.5 进行更自然的多轮对话。

四、将 Agent 服务化

为了更方便地调用智能 Agent，可以使用 FastAPI 将其部署为一个 Web 服务，供前端或其他程序调用。

FastAPI 示例代码：

from fastapi import FastAPI   from pydantic import BaseModel      app = FastAPI()      classQuery(BaseModel):       question: str      @app.post("/chat")   asyncdefchat(query: Query):       response = qwen_agent.respond(query.question)       return {"response": response}      # 启动服务   # uvicorn app:app --host 0.0.0.0 --port 8000

运行上述代码后，通过浏览器或其他工具即可访问 http://localhost:8000/chat，与 Agent 互动。

五、优化与扩展

为了让智能 Agent 更加强大，你还可以：

1. 加入工具支持：结合搜索引擎、文档检索、计算工具等功能。
1. 优化模型性能：使用 BitsAndBytes 等工具对模型进行量化，减少硬件资源占用。
1. 应用场景扩展：如知识问答、代码生成、内容创作等。

六、总结

通过本教程，你已经学会了如何本地部署 Qwen-2.5 模型，并构建一个智能 Agent。如果你在实际操作中遇到问题，欢迎留言与我们互动！如果觉得本文有帮助，记得点赞、收藏并分享给更多人哦！ 😊

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述