![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 90
JermeryBesian
坚持让改变发生
展开
-
WordNet相关API介绍及语义相似度计算方法
WordNetIntroductionWordNet是由Princeton 大学的心理学家,语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列,而且按照单词的意义组成一个“单词的网络”。它是一个覆盖范围宽广的英语词汇语义网。名词,动词,形容词和副词各自被组织成一个同义词的网络,每个同义词集合都代表一个基本的语义概念,并且这些集合之间也由各种关系连接。WordNet包含描述概念含义,一义多词,一词多义,类别归属,近义,反义等问题。WordNet提供了在线访问的接原创 2021-03-22 08:53:27 · 3711 阅读 · 0 评论 -
NLTK安装过程及相关API介绍
NLTKIntroductionNLTK,全称Natural Language Toolkit,自然语言处理工具包,是NLP研究领域常用的一个Python库,由宾夕法尼亚大学的Steven Bird和Edward Loper在Python的基础上开发的一个模块,至今已有超过十万行的代码。这是一个开源项目,包含数据集、Python模块、教程等。NLTK官方文档:http://www.nltk.org/Installation使用pip进行安装pip install nltk测试安装是否成功i原创 2021-03-22 08:50:14 · 551 阅读 · 0 评论 -
Jieba分词工具介绍及相关API使用方法
JiebaIntroductionProject descriptionjieba分词算法使用了基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能生成词情况所构成的有向无环图(DAG), 再采用了动态规划查找最大概率路径,找出基于词频的最大切分组合,对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法。jieba分词支持三种分词模式:精确模式, 试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;搜索引原创 2021-03-22 08:48:43 · 3455 阅读 · 1 评论 -
HowNet介绍及相关API的使用方法
HowNetIntroduction知网(英文名称HowNet),是一个以汉语和英语的词语所代表的的概念为描述对象,以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。HowNet是董振东先生、董强先生父子毕三十年之功标注的大型语言知识库,主要面向中文(也包括英文)的词汇与概念。HowNet秉承还原论思想,认为词汇/词义可以用更小的语义单位来描述。这种语义单位被称为“义原”(Sememe),顾名思义就是原子语义,即最基本的、不宜再分割的最小语义单位。在不断标注的过程中,HowNe原创 2021-03-22 08:46:50 · 12471 阅读 · 10 评论 -
gensim加载预训练词向量到模型中的使用方法
gensimIntroductionGensim是一个用于从文档中自动提取语义主题的Python库,足够智能,堪比无痛人流。Gensim可以处理原生,非结构化的数值化文本(纯文本)。Gensim里面的算法,比如Latent Semantic Analysis(潜在语义分析LSA),Latent Dirichlet Allocation,Random Projections,通过在语料库的训练下检验词的统计共生模式(statistical co-occurrence patterns)来发现文档的语义结原创 2021-03-22 08:42:35 · 6211 阅读 · 2 评论 -
Hugging face快速入门
Hugging faceIntroductionHugging face 是一家总部位于纽约的聊天机器人初创服务商,开发的应用在青少年中颇受欢迎,相比于其他公司,Hugging Face更加注重产品带来的情感以及环境因素。官网链接在此 https://huggingface.co/ 。但更令它广为人知的是Hugging Face专注于NLP技术,拥有大型的开源社区。尤其是在github上开源的自然语言处理,预训练模型库 Transformers,已被下载超过一百万次,github上超过24000个st原创 2021-03-22 08:38:00 · 25399 阅读 · 4 评论 -
《Attention is all you need》源码解析+算法详解
Attention is all you need 源码解析最近学习Transformer模型的时候,并且好好读了一下Google的《Attention is all you need》论文。论文地址如下: Attention is All you need. 同时学习了一下其github的代码,代码地址如下:github code. 在网上查资料的过程中,还找到了一个好像也用的比较多的版本:T...原创 2019-08-08 19:20:41 · 14777 阅读 · 6 评论 -
Transformer模型中重点结构详解
Transformer模型中各结构的理解最近学习Transformer模型的时候,并且好好读了一下Google的《Attention is all you need》论文。论文地址如下: Attention is All you need。同时学习了一下其github的代码,代码地址如下:github code. 在网上查资料的过程中,还找到了一个好像也用的比较多的版本:[Transformer...原创 2019-08-07 17:14:20 · 8107 阅读 · 7 评论