nlp
kwang8090
goodman
展开
-
Allennlp执行train时 出现 field None type相关的报错
解决方法:错误来源于Overrides包. 换成较旧的版本即可pip install overrides==4.1.2原创 2021-06-29 10:37:15 · 1182 阅读 · 1 评论 -
Zipf law 定律
Zipf定律是文献计量学的重要定律之一,它和洛特卡定律、布拉德福定律一起被并称为文献计量学的三大定律。一个词在一个有相当长度的语篇中的等级序号(该词在按出现次数排列的词表中的位置,他称之为rank,简称r)与该词的出现频率(他称为frequency,简称f)的乘积几乎是一个常数(constant,简称C)。用公式表示,就是 r × f = C 。(此处的C一般认为取0.1)齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsle原创 2021-01-01 15:52:57 · 1075 阅读 · 0 评论 -
word2vec 数学原理
References:[NLP] 秒懂词向量Word2vec的本质https://zhuanlan.zhihu.com/p/26306795 word2vec原理推导与代码分析 http://www.hankcs.com/nlp/word2vec.html原创 2021-01-01 15:45:06 · 128 阅读 · 0 评论 -
synonyms - Python:基于jieba中文分词的词包
介绍:查近义词,计算句子相似度的接口函数,https://github.com/huyingxi/Synonymsoov: out of vocabulary , 集外词,未登录词基于jieba分词主要方法:nearby(‘w’), 获取'w'近义词、相似度(距离远近) compare('s1', 's2', seg=True|False) , 比较两个句子的相似度,seg决定是否分词。 SenetenceSim上进行测试,阈值0.5 ,语料7516条情况下,准确率 ..原创 2021-01-01 14:03:34 · 1126 阅读 · 1 评论