![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
pursuingparadise
这个作者很懒,什么都没留下…
展开
-
解决神经网络训练过程中加载大文件造成的内存、显存爆炸的情况
最近在跑模型时因为用BERT预训练模型提取评论文本的动态词向量,对于6000个用户,每个用户12条评论,每条评论202个单词,768维的向量大约有40G,如果直接提取,无论是内存还是显存都吃不下,而且如果在模型中一条条提取的话,huggingface开发的transformers虽然可以做到,但预训练模型会在显存中占据2.2G的显存,我的显卡(1080ti 11G显存)在占据2.2G后可以跑的模型batch只有2,无疑会造成速度慢、泛化能力差等问题。我的解决思路是把600012202*768的向量存到不原创 2020-11-02 21:26:23 · 2536 阅读 · 2 评论 -
BERT对中文文本分类实践(基于cnews数据集)
最近在学习BERT,所以想用文本分类试验一下,本以为会很简单,但还是遇到不少问题。参考的文章有:这篇文章有一个小坑这篇是正解数据集链接:https://pan.baidu.com/s/1LzTidW_LrdYMokN—Nyag提取码:zejw数据格式如下从https://github.com/google-research/bert上克隆项目。下载BERT的中文预训练模型:链接:https://pan.baidu.com/s/14JcQXIBSaWyY7bRWdJW7yg提取码:mv原创 2020-06-12 15:31:25 · 3883 阅读 · 24 评论 -
text_cnn进行文本情感分析时遇到的问题
项目是在github上看到的:https://github.com/dennybritz/cnn-text-classification-tf是基于tensorflow进行的文本情感分析,由于代码使用规范可能较老,所以出现了一些问题,这里予以记录:1.train.py文件FLAGS.flag_values_dict()#TensorFlow版本升级后,它就无情的抛弃了FLAGS._parse_flags()这种用法,改成了用FLAGS.flag_values_dict()#FLAGS._parse原创 2020-05-20 10:24:15 · 603 阅读 · 0 评论