利用modelscope下载模型

1. modelscope的简介

ModelScope作为一个先进的“模型即服务”(MaaS)平台,它的核心在于汇聚人工智能领域的尖端模型,降低了在现实世界应用这些前沿技术的门槛。该平台通过ModelScope库展现了其强大功能,这一库专为简化开发者体验而设计,无论是在计算机视觉(CV)、自然语言处理(NLP)、语音识别、多模态分析,还是科学计算领域,它都能提供一个统一、高效的接口去执行推理、定制训练及性能评估任务。

ModelScope库特别强调了为模型贡献者构建的分层次API框架,这不仅加速了各类模型与平台生态的整合过程,而且实现了模型集成的高度一致性和便捷性。仅需寥寥数行代码,用户就能实现模型的快速部署、微调配置乃至效果验证,同时也保留了足够的灵活性以适应复杂场景下对模型训练与推理流程的个性化定制需求。

更进一步,ModelScope平台的图书馆不仅仅是模型实现的集合体,它还构成了与ModelScope后端服务互动的桥梁。特别是,它紧密地与Model-Hub和Dataset-Hub协同工作,使得模型与数据集的检索、版本追踪、存储优化及一系列管理操作变得透明化且简便。这样的设计策略有效支撑了从模型探索到应用实践整个生命周期的顺畅运作,彰显了ModelScope作为模型共享和服务平台的前瞻性和实用性。

GitHub地址:https://github.com/modelscope/modelscope
官网:ModelScope 魔搭社区

2. 模型下载方法

2.1 命令行的方式下载

2.1.1 利用ModelScope下载

请先通过如下命令安装ModelScope

pip install modelscope

下载完整模型repo

modelscope download --model qwen/Qwen2-Audio-7B-Instruct

下载单个文件(以README.md为例)

modelscope download --model qwen/Qwen2-Audio-7B-Instruct README.md

2.1.2 利用git 下载

git lfs install
git lfs clone https://www.modelscope.cn/qwen/Qwen2-Audio-7B-Instruct.git

备注:官方的是git lfs install和git clone ,但是这样会出现下载进度条一直不动。只有git lfs install和git lfs clone才能正常下载,不知道为什么(和官方说的不一样)
问题一:

root@****:~# git lfs install
git: 'lfs' is not a git command. See 'git --help'.

The most similar command is
        log

没有安装git lfs,在对于基于 Debian 的系统(如 Ubuntu),可以使用以下命令:

sudo apt update
sudo apt install git-lfs

问题二:

root@I19cba4205e006015ad:~# git lfs install
Error: Failed to call git rev-parse --git-dir: exit status 128 
Git LFS initialized.

很有可能是因为当前目录不是Git仓库,可以通过下面的命令来查看是否为git仓库:

git rev-parse --git-dir

如果需要初始化新仓库,可以使用:

# 初始化git仓库
git init

2.2 代码的方式下载

创建py文件,拷贝下面代码,并运行代码

from modelscope import AutoTokenizer, AutoModelForCausalLM, snapshot_download
model_dir = snapshot_download("qwen/Qwen-7B-Chat-Int4")  # 应该可以通过reversion参数来下载指定的模型版本
# 打印模型保存的路径
print(model_dir)

2.3 网页的方式下载

在网页中一个个文件点击下载
在这里插入图片描述

  • 7
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在分布式环境中部署ModelScope框架模型,需要进行以下步骤: 1. 安装ModelScope框架:可以使用pip install命令安装。 2. 准备数据:将数据集分割成多个部分,以便可以在多个节点上同时处理。 3. 训练模型:使用ModelScope框架训练模型,并将模型保存到硬盘中。 4. 部署模型:将模型部署到多个节点上,以便可以在分布式环境中进行推理。 下面是一个简单的代码示例,演示如何在分布式环境中部署ModelScope框架模型: ```python import torch from torch import nn from modelscope import ModelScope # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 2) def forward(self, x): x = self.fc1(x) x = nn.functional.relu(x) x = self.fc2(x) return x # 创建ModelScope对象 ms = ModelScope() # 设置模型参数 ms.set_model(MyModel()) # 分布式训练模型 ms.distributed_train( num_epochs=10, batch_size=64, optimizer=torch.optim.Adam, optimizer_args={"lr": 0.001}, criterion=nn.CrossEntropyLoss, criterion_args={}, train_dataset=train_dataset, val_dataset=val_dataset, num_nodes=2, node_rank=0, backend="nccl", ) # 保存模型 ms.save_model("mymodel.pt") # 加载模型 ms.load_model("mymodel.pt") # 分布式部署模型 ms.distributed_deploy( num_nodes=2, node_rank=0, backend="nccl", ) # 进行推理 output = ms.model(torch.randn(1, 10)) print(output) ``` 上述代码中,我们首先定义了一个简单的神经网络模型MyModel,然后使用ModelScope创建一个ModelScope对象ms,并将模型设置为ms的属性。接下来,我们使用ms对象的distributed_train方法在多个节点上训练模型,并使用ms对象的save_model方法将训练好的模型保存到硬盘中。然后,我们使用ms对象的load_model方法从硬盘中加载模型,并使用ms对象的distributed_deploy方法将模型部署到多个节点上。最后,我们使用ms对象的model方法进行推理,得到输出结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值