任务:将自我认知的模型上传到魔搭平台,模型名称中包含internlm关键词
魔搭给的服务器没有InternStudio那么慷慨给力,本作业我省去训练过程。此前在InternStudio上的训练过程详见:书生大模型学习L1G5000-CSDN博客
步骤一:在魔搭社区中新建模型
步骤二:使用Python SDK上传模型
魔搭平台支持使用SDK和GIT两种方式上传模型,我选择SDK(modelscope HubApi)来将已经训练好的模型上传到ModelScope平台。完成上面步骤一的模型创建之后,只需要配置访问令牌(ModelScope个人中心->访问令牌获取
), 然后将本地模型目录通过push_model接口进行上传即可.
注意: ModelScope要求上传的模型目录含有configuration.json
文件, 我们训练的merge模型目录只有config.json
, 因此可以复制这个文件然后修改文件名即可.
1. 进入InternStudio中训练好的模型目录下,创建upload2modelscope.py文件,贴入一下代码
from modelscope.hub.api import HubApi
YOUR_ACCESS_TOKEN = '请从ModelScope个人中心->访问令牌获取(SDK 令牌)'
api = HubApi()
api.login(YOUR_ACCESS_TOKEN)
api.push_model(
model_id="your_name/your_model_id",
model_dir="your_model_model_dir" # 本地模型目录,要求目录中必须包含configuration.json
)
如果提示不能识别modelscopy命令,说明需要安装依赖包pip install modelscope
如果提示无法上传大文件,需要安装git lfs install来支持大文件的传输
步骤三:在modelscope的模型库中查看上传的模型文件和权重文件
魔搭平台会对模型进行基本的审核,审核之前是预发布状态。