基于在线百科知识库的多义词词义消歧项目

最新推荐文章于 2021-08-15 20:53:21 发布
最新推荐文章于 2021-08-15 20:53:21 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 自然语言处理 语言资源 人工智能 语言信息处理 文章标签： 词义消歧 在线知识库 语言资源 语义表示
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhy2014/article/details/84202745
版权
WordMultiSenseDisambiguation项目利用在线百科知识库和语义嵌入相似性解决中文多义词问题。通过获取义项、聚类、语义表示和相似度计算，该项目旨在对句子中的词语进行语义判定。项目依赖于预训练词向量，执行效率受在线访问影响，提出改进点包括义项聚类、语义表示和相似度计算方法。
摘要由CSDN通过智能技术生成

WordMultiSenseDisambiguation

WordMultiSenseDisambiguation, chinese multi-wordsense disambiguation based on online bake knowledge base and semantic embedding similarity compute,基于百科知识库的中文词语多义项获取与特定句子词语语义消歧.
项目地址:https://github.com/liuhuanyong/WordMultiSenseDisambiguation

项目介绍

一词多义是中文信息处理中一个特别常见的现象,经典的"苹果是水果还是公司"问题一直是困扰大家的一个实际问题,本项目将对这一问题进行尝试,提出相应的技术路线,并结合在线百度百科获取义项,经过义项聚类,义项语义表示,语义相似度计算等方式,对特定语句中的词语语义判定进行尝试.

项目思路

以下是本项目的技术路线图,本项目需要加载预训练词向量,文件太大,没有给出,各位可自行添加.

image

项目效果

python wordsense_detect.py,运行中文词语语义消歧脚本.
1, 指定需要进行词义消歧的词语word
2, 指定需要极刑词义消歧词语所在的句子

例子:

enter an sent to search:苹果发布新产品了
enter an word to ident
最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Python NLP自然语言处理详解
悦分享
10-18 7567
在这个大数据时代，几乎所有事物都能用数据描述。数据可以大致分为三类。第一类是用于传播的媒体数据，如图片、音频、视频等。这类数据一般不需要做处理，只需要存储和读取。第二类是数字类数据，其价值很高。因为数字是有一定规律的，从已有数字中发现的规律可以用于预测未来的数据。这也是传统大数据处理与分析的主要方面。第三类是自然语言数据。这类数据更贴近生活，对其进行统计和分析，可以让机器理解人的语言，实现机器与人的交流。
【NLP入门教程】七、词义消歧
最新发布
m0_68629936的博客
04-08 639
词义消歧（Word Sense Disambiguation, WSD）其目标是确定文本中词汇的正确含义。由于许多单词具有多种含义，词义消歧对于理解和分析文本具有关键作用。
基于最大熵模型的汉语词义消歧与标注方法
12-08
基于最大熵模型的汉语词义消歧与标注方法，自然语言处理
自然语言处理(NLP)之词义消歧(WSD)的简介与实现
IT之一小佬的博客
05-08 6248
自然语言处理(NLP)之词义消歧(WSD)的简介与实现 词义消岐简介 词义消岐，英文名称为Word Sense Disambiguation，英语缩写为WSD，是自然语言处理（NLP）中一个非常有趣的基本任务。 那么，什么是词义消岐呢？通常，在我们的自然语言中，不管是英语，还是中文，都有多义词存在。这些多义词的存在，会让人对句子的意思产生混淆，但人通过学习又是可以正确地区分出来的。 以**“小米”**这个词为例，如果仅仅只是说“小米”这个词语，你并不知道它实际指的到底是小米科技公司还是谷物。但当我们
词义消歧
zhongfu的博客
03-04 7627
词义消歧在nlp中是重要的核心问题之一，词义、句义以及篇章含义层次都会根据不同的上下文环境产生不同的意义，消歧就是指根据上下文确定对象语义的过程。词义消歧是在词语层次上的语义消歧，常常在搜索引擎、意见挖掘、文本理解与产生、推理中具有应用。 一、常用的算法 1、监督学习算法 a.确定词表和释义表，如目标词“bass”，有两个释义：乐器-贝斯，鱼类-鲈鱼； b.获取语料：Googl...
nlp-形式语言与自动机-ch09-词义消歧
有信念，才能走的更远
05-24 1925
1、词义消歧方法分为：监督的和无监督的。 2、有监督的语义消歧方法：基于互信息的消歧方法： 基本思路：对每个需要消歧的多义词寻找一个上下文特征，这个特征能够可靠地指示该多义词在特定上下文语境中使用的是哪种语义。 3、有监督的语义消歧方法：基于贝叶斯分类器的消歧方法： 基本思路：在双语语料库中多义词的翻译（语义）取决于该词所处的上下文语境c， 4、基于义类辞典的消歧方法： 基本思想：多义
词汇处理——词义辨析消歧（一）
Seal_Wings的博客
11-04 4618
经典方法 详细介绍解决NLP词义辨析消歧的经典方法 研究现状 对NLP词义辨析消歧的综述介绍
词义消歧（基于词向量）
loveitlovelife的博客
10-16 2477
from gensim.models import Word2Vec model = Word2Vec.load('word2.model') content=['用','苹果','性能','好','分辨率','高'] des1=['美国','一家','高科技','公司','经典','产品','有','iphone','手机'] des2=['水果','一种','产自'] def w2v_m...
【论文泛读23】BERT有意义吗？基于语境化嵌入的可解释词义消歧
scu-liu的博客
03-07 557
贴一下汇总贴：论文阅读记录 论文链接：《Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings》 一、摘要 ElMo(Peaters等人，2018)、Flair NLP (Akbik等人，2018)或BERT (Devlin等人，2019)提供的上下文化单词嵌入(CWE)是NLP中最近的一项重大创新。cwe根据单词各自的上下文提供单词的语义向量表示。它们相对于静态单词嵌入
Bert
qfikh的博客
12-27 554
Ref： (1).NLP的游戏规则从此改写？从word2vec, ELMo到BERT (2).从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 1. 前言 还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计...
nlp 总结 分词，词义消歧，词性标注，命名体识别，依存句法分析，语义角色标注
FREEDOM
12-09 1万+
分词 中文分词 (Word Segmentation, WS) 指的是将汉字序列切分成词序列。 因为在汉语中，词是承载语义的最基本的单元。分词是信息检索、文本分类、情感分析等多项中文自然语言处理任务的基础。 例如，句子 正确分词的结果是
NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈
ch的专栏
02-11 2692
本文转载自http://blog.sciencenet.cn/blog-362400-526304.html 引用老友: 受教了。谢谢立委。 我同意“成语从来不是问题”。成问题的应该是一词多义，或歧义，对吧？ 这个迷思不再局限于中文处理，它在整个NLP领域和NLP爱好者圈子里颇有迷惑性。WSD （Word Sense Disambiguation） 确系 NLP 难点，但在NLP应用上基本不是
语义分析（词义消歧，语义角色标注）
wwx123521的博客
04-28 4538
在词的层次上，语义分析的基本任务是进行词义消歧（WSD），在句子层面上是语义角色标注（SRL），在篇章层面上是指代消歧，也称共指消解。 词义消歧（WSD） 词义消歧有时也称为词义标注，其任务就是确定一个多义词在给定上下文语境中的具体含义。 词义消歧的方法也分为有监督的消歧方法和无监督的消歧方法，在有监督的消歧方法中，训练数据是已知的，即每个词的词义是被标注了的；而在无监督的消歧方法中，训练数...
几乎最全的中文NLP资源库
ningyanggege的博客
05-12 3万+
NLP民工的乐园 The Most Powerful NLP-Weapon Arsenal NLP民工的乐园: 几乎最全的中文NLP资源库 词库 工具包 学习资料 在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。 很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star，谢谢！ 长期不定时更新，欢迎watch和fork！ 涉及内容包括但不限于：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取...
李宏毅自然语言处理——指代消歧
日积月累，天道酬勤
08-15 2336
如何用BERT这种预训练模型做指代消歧呢
nlp词义消歧
xingzhe1993的博客
08-11 1620
词义消歧的研究通常需要语义词典的支持，因为词典描述了词语的义项区分。英语的词义消歧研究中使用的词典主要是ordNet，而中文使用的词典有HowNet，以及北京大学的“现代汉语语义词典”等。 除词典外，词义标注语料库标注了词的不同义项在真实文本中的使用状况，为开展有监督的词义消歧研究提供了数据支持。常见的英文词义标注语料库包括Semcor（普林斯顿大学标注）、DSO（新加坡国立大学标注）以及用于Senseval 评测的语料库等。在中文方面，哈尔滨工业大学和北京大学分别基于HowNet 和北大“现代汉语语义词典
知识图谱-实体消歧（语义消歧）
weixin_44206053的博客
01-17 3562
命名实体歧义： 命名实体指称多样性: 一个命名实体可以用多种方式表达． 命名实体指称歧义性: 一个指称可能表示不同的命名实体． 命名实体聚类消歧 命名实体链接消歧 命名实体聚类消歧是利用聚类算法来对实体进行消歧． 命名实 体链接消歧则是借助外部知识库将待消歧命名实体指称链接到外部知识库中对应实体来进行消歧． 基于中文维基百科的命名实体消歧方法 计算文本特征向量与不同词义的维基特征向量的相似度（可由词间距离转换 余弦距离 欧式距离等）。 面向实体链接的多特征图模型实体消歧方法 以中文维基百科作为知识库支撑
Word Sense Disambiguation
niukai1768的专栏
09-11 1333
1 Introduction I build a basic bi-lstm model, bi-lstm + attention model and a multy task learning model describe in the paper and a model which Incorporates glosses information using memory network to...
【实战技能】自然语言处理（NLP）的案例三：使用VSM实现词义消歧
苹果二的博客
05-22 1345
自然语言处理，前面和大家说了 【新手上路常见问答】关于自然语言处理（NLP） 【实战技能】自然语言处理（NLP）的案例一：依赖解析 【实战技能】自然语言处理（NLP）的案例二：语言建模和词性标注 词义消歧 词义消歧（Word Sense Disambiguation WSD）是确定在特定上下文中歧义词的具体意义。 这个问题的解决方案影响其他NLP相关的问题，如机器翻译和文档检索。本文聊聊如何消除先前选择的目标词的小样本的出现，也就是词法样本。词义消歧（WSD）的算法包括基于字典的方法，半监督方法，监督方
TPC-DS标准规范(3)
热门推荐
唐犁的博客
07-05 6万+
TPC-DS是一套决策支持系统测试基准，主要针对零售行业。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等）。国内目前相关的翻译文章较少。本文尝试对官网的TPC BENCHMARK DS Standard Specification（下称“原文”）进行翻译。翻译主要参照的是2017年发布的2.6.0版本。现在可以在 http://www.tpc.org/tpc_documents_current_versions/c

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值