NLP
文章平均质量分 57
转战NLP,主要学习关系抽取方面的东西
kahuifu
这个作者很懒,什么都没留下…
展开
-
使用nltk英文文本分词
前言需要对英文句子按空格进行分词,使用nltk.word_tokenize分词即可,返回的是分好词的列表,比较麻烦的是nltk的下载。import nltki = "The ENT physicians did not recommend any procedures , incision and drainage for his right parotitis or left submandibular cervical lymph node necrosis ."tmp_sen_words =原创 2021-03-08 20:25:12 · 932 阅读 · 0 评论 -
数据先传入CPU还是GPU
引入前几天开周会的时候,一个小伙伴提到读入数据,称一般的做法是:先把dataset读到CPU上,然后GPU只读每个batch的数据,这样gpu就不会报内存不足了。我一听,说的有道理啊,但是仔细一想我平时好像不是这样做的。原因硬件条件不同造成的。①小伙伴学校的硬件资源只拥有一块GPU,所以他要保证不能因为他一个人把所有GPU的资源都占用了,分批次读入GPU②我学校的硬件配置是8块GPU只有一块CPU,用一块CPU控制其它GPU的运转,如果把数据都读入CPU的话,会影响到其它GPU的正常运行(估计会被原创 2020-11-09 10:41:14 · 598 阅读 · 0 评论