NLP
文章平均质量分 73
nero_my
这个作者很懒,什么都没留下…
展开
-
使用中文预训练模型 bert-wwm 获得字向量和词向量
使用中文预训练模型 bert-wwm 获得字向量和词向量1.下载2.解压3.使用bert获得字向量和词向量通过下载模型的形式,要比直接调用库的快很多。1.下载链接:github (使用宽带打不开的话可尝试手机热点)打开以后是这样滴:我下载了这个版本的PyTorch,大小不到 0.5G(并不知道有什么区别,随便下的)2.解压解压之后里面有三个文件,需要把 bert_config.json 改名为 config.json3.使用bert获得字向量和词向量import torchfr原创 2022-05-12 19:33:01 · 4664 阅读 · 5 评论 -
python nltk pos_tags词性标签说明
pos_tags标签说明用法:举个栗子标签说明:用法:pos_tags = nltk.pos_tag(words)words是独立的单词列表举个栗子处理一段英文文本(text),进行分词,删除停用词,词性识别。import nltkfrom nltk.tokenize import sent_tokenize, word_tokenizefrom nltk.corpus import stopwordsfrom string import punctuationtext = "XXXX原创 2021-09-29 15:56:36 · 2167 阅读 · 0 评论