Colaboratory上训练好的模型怎么保存

Colab是一个能提供免费GPU/TPU算力的一个平台,我们可以使用其算力来加速程序,而每隔12个小时分配给我们的资源会强制收回,就需要我们学会上传、下载、保存我们训练好的模型,这里讲一下怎么保存训练好的模型。

连接Google硬盘

使用Google账号注册一个Google Drive的账号,注册成功就可以获得15G的云存储空间,这时我们只需要将数据和文件上传到Google Drive上,在Colab中就可以直接使用数据和文件

创建一个新的Colab文件,执行一下代码

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行以上代码后会得到两个连接,点击连接,进行相应的授权后,会得到相应的验证码
在这里插入图片描述
在这里插入图片描述

挂载Google Drive

!mkdir -p drive
!google-drive-ocamlfuse drive

运行结果
在这里插入图片描述

此时云盘里的文件已经和Colab里的文件连接,直接保存就可

举个简单的例子:
我要保存这份命名为model的模型
在这里插入图片描述
运行结果
在这里插入图片描述
后面直接调用就可,这样就不用后面直接调用就可,也不会被收回

  • 7
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载体验!下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【资源说明】 Python基于CodeBERT+CodeT5预训练模型实现代码注释生成源码+项目说明+数据集.zip 代码注释生成——基于CodeBERT和CodeT5预训练模型的fine-tune 代码执行流程 由于本项目是在Colab上运行的,因此主训练文件——main.ipynb和代码注释文件annotation.ipynb是ipynb格式文件,**将代码放入Google Cloud Drive后需要将部分注释内容解注**,代码中有说明。 由于在本地测试代码时Hugging Face Datasets加载较慢且容易报错,因此本项目的数据集是下载来存储在data文件夹内的。 # 训练 本项目有CodeBERT/CodeT5两种模型类型可供训练选择,在Config.py中修改model_type即可切换到对应model,**打开main.ipynb,点击全部运行**即可按照默认配置进行训练/验证/测试(默认3个epoch,学习率5e-5,beam_size10...更多参见Config.py),运行期间最新的模型/ppl最低的模型/bleu最高的模型均会被保存在output/$model_type/文件夹中,方便进行生成任务。 # 代码注释生成 本项目的代码注释生成写在了另一个ipynb中——annotation.ipynb,里面有我本次项目的13个函数作为数据,用于生成注释,其中此ipynb默认使用了CodeT5模型,且需要从外界加载模型(本项目如果在Colab上运行代码中直接wget了官方二号检查点作为模型,需解注),其中可以调整generate时的参数来得到较好的结果。**同样全部运行即可**

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值