深度学习
pursuingparadise
这个作者很懒,什么都没留下…
展开
-
解决神经网络训练过程中加载大文件造成的内存、显存爆炸的情况
最近在跑模型时因为用BERT预训练模型提取评论文本的动态词向量,对于6000个用户,每个用户12条评论,每条评论202个单词,768维的向量大约有40G,如果直接提取,无论是内存还是显存都吃不下,而且如果在模型中一条条提取的话,huggingface开发的transformers虽然可以做到,但预训练模型会在显存中占据2.2G的显存,我的显卡(1080ti 11G显存)在占据2.2G后可以跑的模型batch只有2,无疑会造成速度慢、泛化能力差等问题。我的解决思路是把600012202*768的向量存到不原创 2020-11-02 21:26:23 · 2577 阅读 · 2 评论 -
Neu-Review-Rec-master使用初识
Neu-Review-Rec-masterNeu-Review-Rec-master是一个基于评论文本的深度推荐系统模型库 (Pytorch),地址。使用步骤在github里有,但使用细节没有说明,这里记录一下使用心得。项目架构项目包含六个文件夹和一个main.py文件。checkpoints:保存模型,用于后期的test以及predictconfig:里面是配置文件,包含一个例子所用的Digital_Music_data_Config,如果后期需要用到别的数据集要修改其中的配置文件(记得在_原创 2020-07-27 15:53:02 · 463 阅读 · 0 评论 -
BERT对中文文本分类实践(基于cnews数据集)
最近在学习BERT,所以想用文本分类试验一下,本以为会很简单,但还是遇到不少问题。参考的文章有:这篇文章有一个小坑这篇是正解数据集链接:https://pan.baidu.com/s/1LzTidW_LrdYMokN—Nyag提取码:zejw数据格式如下从https://github.com/google-research/bert上克隆项目。下载BERT的中文预训练模型:链接:https://pan.baidu.com/s/14JcQXIBSaWyY7bRWdJW7yg提取码:mv原创 2020-06-12 15:31:25 · 3946 阅读 · 24 评论