在colab上运行GitHub项目
最近在学习一个宝藏仓库:649453932/Bert-Chinese-Text-Classification-Pytorch: 使用Bert,ERNIE,进行中文文本分类 (github.com)
发现跑bert模型时,笔记本显存不够跑不出来了,故寻找了下资料,将模型转移到colab上跑,现将这个经历记录下来,方便自己以后再上传demo至colab上
前提需要
科学上网、拥有谷歌邮箱、谷歌云端硬盘、colab注册
文章目录
一、若demo已经下载到本地,则可以将文件夹整体传至云端硬盘
二、创建ipynb,let‘s go!!
查看显卡型号
!nvidia-smi
![](https://yingziimage.oss-cn-beijing.aliyuncs.com/img/202210261609356.png)
有点背,开了pro会员,还是背分到了T4,/(ㄒoㄒ)/~~
挂载谷歌云端硬盘
from google.colab import drive
drive.mount('/content/drive')
进入相应目标目录下
![](https://yingziimage.oss-cn-beijing.aliyuncs.com/img/202210261612081.png)
按照相应的包
按照demo所需要的库,库版本信息一般要求在requirements.txt内
!pip install -r requirements.txt
我们上面这个项目没有requirements.txt这个文件,需要的库较少吧,毕竟也不是论文那种整个的代码库,零碎的就自己使用下面这个命令好了
!pip install 包名
这个demo只需要下载一个额外的库,还是很方便…
正式运行
运行我们这个项目,注意,我们当前是在仓库(Bert-Chinese-Text-Classification-Pytorch)的这个目录下,故可以直接使用如下命令,不然记得给文件(run.py)加上前缀,例如:/content/drive/MyDrive/Colab Notebooks/Bert-Chinese-Text-Classification-Pytorch/run.py
!python run.py --model bert
模型开始训练了,BERT模型太大,这个预计得跑一个消失/(ㄒoㄒ)/~~
参考资料:
(304条消息) 使用Colab运行github中的项目_Lil mercy.的博客-CSDN博客_colab运行github项目
[649453932/Bert-Chinese-Text-Classification-Pytorch: 使用Bert,ERNIE,进行中文文本分类 (github.com)](