下载阿里Qwen-1.8B 模型文件并放置到本地路径？

大数据追光猿

已于 2025-03-01 11:26:49 修改

阅读量925

点赞数 11

文章标签：语言模型 python github windows docker

于 2025-03-01 11:25:58 首次发布

本文链接：https://blog.csdn.net/weixin_50296887/article/details/145945051

版权

如果是手动下载 Qwen-1.8B 模型文件并将其放置到本地路径，可以通过以下步骤完成。这种方法适合网络环境受限（如下载速度慢或无法直接访问 Hugging Face）的用户。

1. 准备工作

（1）创建本地存储目录
在您的计算机上创建一个目录用于存放模型文件。例如：
Windows：C:\models\qwen-1.8b
Linux/Mac：/home/user/models/qwen-1.8b
（2）安装必要的工具
确保您已经安装了以下工具：
Git LFS（用于下载大文件）：https://git-lfs.github.com/
Hugging Face CLI（可选）：通过 pip install huggingface_hub 安装。

2. 下载 Qwen-1.8B 模型文件

（1）使用 Hugging Face 网站下载
打开 Hugging Face 模型页面：
假设模型名称为 Qwen/Qwen-1.8B，访问地址为：
https://huggingface.co/Qwen/Qwen-1.8B
点击“Files and versions”选项卡，查看模型文件列表。
下载所有必要的文件：
config.json：模型配置文件。
pytorch_model.bin 或类似权重文件（可能有多个分片，如 pytorch_model-00001-of-00002.bin）。
tokenizer_config.json 和 vocab.json：分词器相关文件。
将下载的文件解压后放入本地存储目录（如 C:\models\qwen-1.8b）。
（2）使用 Git LFS 下载
克隆模型仓库到本地：

git lfs install
git clone https://huggingface.co/Qwen/Qwen-1.8B

克隆完成后，模型文件会自动下载到当前目录（如 Qwen-1.8B 文件夹）。
将克隆的文件夹移动到您指定的本地路径（如 C:\models\qwen-1.8b）。

（3）使用 Hugging Face CLI 下载
安装 Hugging Face CLI 工具：

pip install huggingface_hub

huggingface-cli login

使用 CLI 下载模型：

huggingface-cli download Qwen/Qwen-1.8B --local-dir C:\models\qwen-1.8b

3. 验证模型文件完整性

在将模型文件放置到本地路径后，建议验证文件是否完整：

确保以下文件存在：
config.json
pytorch_model.bin（或分片文件）
tokenizer_config.json
vocab.json 或其他分词器文件。
如果文件缺失，重新下载对应的文件。

4. 加载本地模型

（1）加载模型代码
使用以下 Python 脚本加载本地模型并生成文本：

from transformers import AutoModelForCausalLM, AutoTokenizer
# 本地模型路径
model_path = "C:/models/qwen-1.8b"
# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)
# 设置模型在 CPU 上运行
model.to("cpu")
# 输入文本
input_text = "你好，Qwen！"
# 分词并生成输出
inputs = tokenizer(input_text, return_tensors="pt").to("cpu")
outputs = model.generate(**inputs, max_length=50)
# 解码生成的文本
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)