通义千问-1_8B-Chat本地安装

最新推荐文章于 2025-03-07 19:33:40 发布
最新推荐文章于 2025-03-07 19:33:40 发布
阅读量909 收藏 8
点赞数 5
文章标签： python 经验分享 conda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A2224853393/article/details/136693143
版权
本文介绍了如何从GitHub上的Qwen项目下载预训练模型，包括在models文件夹中管理模型文件，通过魔搭社区获取模型，以及在Python环境中配置并运行Qwen的cli_demo.py脚本，同时提到了使用conda和GitLFS的相关步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在GitHub下载千问的代码GitHub - QwenLM/Qwen: The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud.The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud. - QwenLM/Qwenicon-default.png?t=N7T8https://github.com/QwenLM/Qwen

新建一个文件夹放千问的模型文件，我是在Qwen文件夹下新建的models文件夹，下载的模型文件放在这里。

下载模型文件可以在魔搭社区下载，也可以在huggingface下载。模型文件比较大，下载需要安装Git LFS（全称为Git Large File Storage，Git大文件存储）。

魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。icon-default.png?t=N7T8https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files

打开Qwen的demo文件cli_demo.py，修改里面的默认路径为下载模型的路径。

在cmd里使用命令运行Qwen的demo。

在运行demo之前需要确保python环境已经安装了所需要的三方库，在Qwen文件夹下有两个txt文件，是运行demo所需要的三方库。

这里我使用conda安装的python环境。conda配置了清华镜像下载三方库。或者在后面加

-i https://pypi.tuna.tsinghua.edu.cn/simple

A2224853393
关注
大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出
微学AI的博客
12-14 1931
大家好，我是微学AI，今天给大家介绍大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出。Qwen-1_8B-Chat是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-1.8B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-1.8B-
阿里通义千问：本地部署Qwen1.5开源大模型
m0_37559973的博客
06-06 7332
通义千问为阿里云研发的大语言系列模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。
通义千问本地部署教程 Qwen-1.5-1.8B/7B/14B Windows-详细认真版
热门推荐
一个学长的博客
02-26 5万+
实现了在Windows上部署通义千问的Qwen-7B-Chat Qwen-1.5-1.8B 模型且实现多轮对话和流式输出，目前还在更新。
Windows系统在本地运行通义千问大模型配置教程（超详细）
最新发布
lvaolan的博客
03-07 1720
本文将教给大家（windows用户）怎么在本地运行大模型，并且通过cmd进行交互，不用联网也可以进行询问。前排提示，文末有大模型AGI-CSDN独家资料包哦！
【AI】ubuntu 22.04 RTX4060TI 16G 本地部署通义千问 7B模型
hknaruto的专栏
04-10 3119
下载模型中途下载报错，手动下载几个没有正常拉下来的模型文件移动过来。
通义千问本地部署
Python，数据分析，机器学习，深度学习
10-08 1万+
*通义千问-14B（Qwen-14B）**是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-14B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-14B-Chat。本仓库为Qwen-14B-Chat的Int4量化模型的仓库。如果您想了解更多关于通义千问-14B开源模型的细节，我们建议您参阅。
本地部署离线通义千问-1_8B-Chat与通义千问-14B-Chat模型及使用Lora方法对它们进行微调与验证（非常详细，值得大家借鉴且效果比Chatglm3-6B微调效果好）
nfkjdx的博客
03-22 8125
Centos7下部署和微调通义千问大模型，效果优于chatglm3-6B，且效果很佳
本地部署离线通义千问-1-8B-Chat与通义千问-14B-Chat模型及使用Lora方法对它们进行微调与验证
04-08
在本文中，我们将深入探讨如何在本地环境部署两个大规模预训练模型——通义千问-1-8B-Chat和通义千问-14B-Chat，并利用Lora（Low-rank Adaptation）方法对这些模型进行微调和验证。通义千问是阿里云开发的一个强大的...
通义千问Qwen 1.8B以及7B chat模型本地化部署
weixin_42118737的博客
05-14 4442
本文简单的记录了在本地部署阿里通义千问1.8B以及7B模型
通义千问VS GPT4：人工智能的新一轮较量
2401_85375151的博客
01-13 1328
阿里发布了最新的通义千问大模型：通义千问2.5，据说其性能超越了GPT4的某个版本。大家可能都知道GPT4是地球上最强的大语言模型，各方面的表现都十分优秀。
本地部署与微调通义千问大型Chat模型技巧
资源摘要信息:"本文将详细介绍如何本地部署离线版本的通义千问-1-8B-Chat和通义千问-14B-Chat模型，以及如何利用Lora（Low-Rank Adaptation of Large Language Models）方法对这两个模型进行微调（fine-tuning）和...
【AI大模型部署】本地部署AI大模型三步走（Ollama+通义千问）
2301_81940605的博客
01-17 2132
自ChatGPT在2022年11月30日问世以来，各类人工智能驱动的自然语言处理模型就纷纷冒出来了，它们可以理解和学习人类的语言跟人类进行对话，并能根据聊天的上下文来进行互动。目前ChatGPT-4在某些专业知识领域已经达到甚至超过博士生的水平了。在翻译、创作、知识问答、图片生成、视频剪辑、编程、测试、检验等等领域，AI大模型可谓大放异彩！网上也议论纷纷，说以后AI要淘汰这个职业，那个职业的，搞得人心惶惶的。实际上，AI大模型还是有一些局限性的，难以处理过于复杂的任务。
本地部署千问大模型笔记
西园公子
03-24 271
c 控制上下文的长度，值越大越能参考更长的对话历史（默认：512）-ins 交互模式，可以连续对话，上下文会保留。-n 控制回复生成的最大长度（默认：128）–temp 温度系数，值越低回复的随机性越小。
大模型本地部署
DominaterWE的博客
12-01 2481
为了运行之后本地部署的Qwen-7B-Chat模型，我们需要根据要求在Anaconda中安装一个满足模型运行要求的虚拟环境，其官方的配置环境要求如下，这里配置的环境为使用GPU Pytorch的版本。点击其中的模型文件，进入模型文件页面，之后点击右侧的下载模型。第二步：安装通义千问官方说的运行Qwen-7B需要安装的依赖。第一步：安装modelscope可以用来下载模型。SDK安装安装工具包下载。设置模型的下载地址。
[大模型]Qwen-1_8B-chat CPU 部署
FL1623863129的博客
04-18 1604
本文介绍了在 Intel 设备上部署 Qwen 1.8B 模型的过程，你需要至少16GB内存的机器来完成这项任务，我们将使用英特尔的大模型推理库来实现完整过程。Bigdl-llm 是一个在英特尔设备上运行 LLM（大语言模型）的加速库，通过 INT4/FP4/INT8/FP8 精度量化和架构针对性优化以实现大模型在 英特尔 CPU、GPU上的低资源占用与高速推理能力（适用于任何 PyTorch 模型）。
cpu通过http接口部署qwen1.8b
weixin_49651327的博客
12-25 1633
1G大小的qwen1.8b部署包
【你的第一个大模型微调，Qwen1_8B-Chat-Int8，8G显卡】
weixin_45005570的博客
01-18 2919
有openapi，还有dashscopeapi，都是类似的，学会一个就会另一个。主要试的第二个，链接如下。使用环境变量保存，linux下用windows下可以也可以直接设置环境变量。按照实例调用就行，代码里面不用单独写api_key，程序会自动去环境变量里面找。ps：设置完后要重启一下vscode，我说半天怎么不行呢，这家伙一直没重新读取环境变量。
(附数据集)基于lora参数微调Qwen1.8chat模型的实战教程
小知的博客
03-16 4403
与全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。使用LoRA训练后的模型，可以选择先合并并存储模型（LoRA支持合并，Q-LoRA不支持），再用常规方式读取你的新模型。一般会缓存到你的C盘或用户空间，所以要根据自己情况查看模型。也可以通过下面日志查看模型所在位置，如。使用微调后且合并的模型进行本地部署。阿里魔搭社区notebook的。觉得不错，点个star噢。里：下载模型会缓存在。克隆Qwen项目，调用。文件进行配置与微调。
解决langchain-chatchat在Windows CPU运行Qwen-1_8B-Chat的ERROR问题
资源摘要信息:"在Windows操作系统中，当尝试使用CPU运行名为Qwen-1-8B-Chat的大型语言模型时，用户可能会遇到一个具体的错误提示ERROR: object of type ‘NoneType‘ has no len()。该错误是由于在PyTorch框架中，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值