词消歧算法：使用WordNet和Lesk算法进行英文消歧义

最新推荐文章于 2024-03-11 08:22:12 发布
最新推荐文章于 2024-03-11 08:22:12 发布
阅读量643 收藏 1
点赞数
分类专栏： # NLP基础/句法语义分析 文章标签： 算法 词消歧
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/122485890
版权
u013250861
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用WordNet和Lesk算法进行英文消歧义的Python实现
m0_54633031的博客
01-16 2122
快速浏览使用WordNet和Lesk算法进行英文消歧义的Python实现概览WordNet初识WordNetWordNet 在 Python 中的使用Lesk算法Lesk算法经典版Lesk算法经典版的Python实现Lesk算法的简化版Lesk算法的简化版的Python实现 使用WordNet和Lesk算法进行英文消歧义的Python实现 作者：牛伯雨 概览 英文中有一个用来消歧义的经典算法——Lesk算法。实现这一算法需要一个重要零组件：WordNet。Lesk算法还有一个简化版本，我们也会在后面讨论。
用于词义消岐的Lesk算法
相门码农的专栏
02-15 8788
该算法由Michael E. Lesk于1986年提出，是一个基于词典的词义消岐方法。 该算法认为：一个词在词典中的词义解释与该词所在句子具有相似性。这种相似性可以由相同单词的个数来表示，比如“cone”和"pine"的意思分别为：   CONE 1. solid body which narrows to a point 2. something of this shape whe
词汇处理——词义辨析消歧（一）
Seal_Wings的博客
11-04 4618
经典方法 详细介绍解决NLP词义辨析消歧的经典方法 研究现状 对NLP词义辨析消歧的综述介绍
词义消歧
weixin_30826095的博客
11-21 493
Lesk算法 　　lesk算法是一个基于词典的词义消歧方法，算法认为：一个词在词典中的词义解释与该词所在句子具有相似性 1. original lesk　　通过比较词在词典中解释，得到交集，那么相似度即为交集单词的个数　　eg: pine 和cone分别在字典中的解释如下　　Pine : 1. kind of evergreen tree with needle-shap...
WordNet 普林斯顿 算法第四版
过气久远的博客
11-02 256
普林斯顿 算法第四版 文章目录普林斯顿 算法第四版引言一、SPA.java 引言 作业要求链接： https://coursera.cs.princeton.edu/algs4/assignments/wordnet/specification.php 作业常见问题解答： https://coursera.cs.princeton.edu/algs4/assignments/wordnet/faq.php 本次作业需要完成一个wordnet，即英语语义词典，需要完成(按照作业常见问题解答中老师推荐的顺序
wordnet python处理中文与英文
u014765410的博客
07-30 726
参考博文： wordnet python处理中文与英文
Lesk-Algorithm:使用nltk wordnet的Lesk算法的Python实现
06-30
使用nltk WordNet的Lesk算法的Python实现 要求： Python python的nltk包。 对于 nltk 安装，请参阅 该程序接受一个单词和一个（短语或句子）作为参数，并根据 Lesk 算法返回该单词最接近的可能的词义键。 对于 ...
基于语义密度的名词消歧算法 (2012年)
05-22
提出了一种以概念相关性为主要依据的名词消歧算法。...还提出了一种在WordNet上的类似LSH的语义哈希，从而大大降低了语义密度的计算复杂度以及整个消歧算法的计算复杂度。在SemCor上对该算法进行了测试和评估。
wordnet:独立WordNet API
05-27
词网 注意：此存储库不再维护。 有关具有类似API的用于词网的独立Python模块，请参见 。 安装 虽然不再维护该项目，但是您可以按照以下步骤从PyPI安装最新版本（0.0.23）： pip install -U ' wn==0.0.23 ' 版本号...
Synonym_Extraction:使用三种模型进行同义词提取。 实现http中描述的算法
06-07
#Pipeline：1) 使用 Wordnet 生成：22k 个同义词、2k 个反义词、80k 个不相关的词。 2) Train word vector, each word is mapped to a 50d vector 3) Generate Training data: Synonym with label 1, Antonym/...
lesk-for-sinhala
06-23
僧伽罗语 此项目有一个依赖项（SinhalaWordNetAPI 项目： : ）将其添加到 Java 构建路径项目中。 实现的算法是 LESK 算法的简化版本。
KnowledgeGraph项目主要内容：基于WordNet构建的英语词汇实体和同义词集实体知识图谱.zip
11-14
知识图谱项目 可用于毕业设计、课程设计、项目实践，提供设计资料+源码 知识图谱项目 可用于毕业设计、课程设计、项目实践，提供设计资料+源码 知识图谱项目 可用于毕业设计、课程设计、项目实践，提供设计资料+源码...
NLP（十三） 词义消歧
weixin_30765577的博客
07-05 714
一个词可能有多个词义 例句 解释 She is my date date: 约会，日期 You have taken too many leaves to skip cleaning leaves in the garden leave：休息，树叶 用Lesk算法 代码 import nltk def understandWordSenseExamples(): ...
NLP入门（九）词义消岐（WSD）的简介与实现
山阴少年
05-12 6452
词义消岐简介   词义消岐，英文名称为Word Sense Disambiguation，英语缩写为WSD，是自然语言处理（NLP）中一个非常有趣的基本任务。   那么，什么是词义消岐呢？通常，在我们的自然语言中，不管是英语，还是中文，都有多义词存在。这些多义词的存在，会让人对句子的意思产生混淆，但人通过学习又是可以正确地区分出来的。   以**“小米”**这个词为例，如果仅仅只是说“小米”这个词...
自然语言处理（NLP）—— 词义消歧与词语相似性（Word similarity）
最新发布
weixin_65190179的博客
03-11 1405
然后取目标词每个定义中的词汇，并将这。
【自然语言处理】汉语词义自动消岐系统
ayaishere_的博客
01-17 625
自然语言处理之汉语词义自动消岐系统
自然语言处理实验
weixin_44630230的博客
01-20 1550
跨象乘云的个人空间_哔哩哔哩_Bilibili跨象乘云，广州跨象乘云软件技术有限公司;人工智能科研教学一体化实验平台｜人工智能专业建设｜人工智能实验室 | 项目案例｜网址：https://www.080910t.com/;跨象乘云的主页、动态、视频、专栏、频道、收藏、订阅等。哔哩哔哩Bilibili，你感兴趣的视频都在B站。https://space.bilibili.com/189064479/channel/collectiondetail?sid=701611.文本分析 2.文本分词 3.词性标注
指代算法
tureful的博客
03-01 168
思想： 利用一个新的数组存储原数据的地址，根据原数据，对地址进行排序。 代码： #include <stdio.h> #include <stdlib.h> int main() { int num[9] ,sign[9]; int i,j,r=0; for(j=0;j<9;j++) { scanf("%d",&...
NLP-文本处理：指代消解（Coreference Resolution）【回指消解（名词＜--＞代词）、共指消解（名词1＜--＞名词2）】【识别指向同一实体的不同表述】【难度较大，准确率不会太高】
u013250861的博客
04-06 6737
自然语言处理(NLP)-文本处理：指代消解（Co-reference Resolution）
分别使用WordNet算法和Lesk算法进行英文消歧义的Python实现
06-06
WordNet算法和Lesk算法都是用于英文消歧义的算法，它们可以帮助我们确定一个单词在特定上下文中的含义。下面是两种算法的Python实现： 1. WordNet算法实现： ``` from nltk.corpus import wordnet def wordnet_disambiguate(word, sentence): # 获取单词的同义词集 synsets = wordnet.synsets(word) best_sense = None max_overlap = 0 context = set(sentence) for synset in synsets: # 获取同义词集的定义和例句 definition = set(synset.definition().split()) examples = set(" ".join(synset.examples()).split()) # 计算上下文与定义和例句的重叠度 overlap = len(context.intersection(definition)) + len(context.intersection(examples)) # 选择最佳的同义词集 if overlap > max_overlap: max_overlap = overlap best_sense = synset return best_sense.definition() sentence = "I went to the bank to deposit my money." word = "bank" print(wordnet_disambiguate(word, sentence.split())) ``` 2. Lesk算法实现： ``` from nltk.corpus import wordnet from nltk.corpus import stopwords def lesk_disambiguate(word, sentence): # 获取单词的同义词集 synsets = wordnet.synsets(word) best_sense = None max_overlap = 0 context = set(sentence) for synset in synsets: # 获取同义词集的定义和例句 definition = set(synset.definition().split()) examples = set(" ".join(synset.examples()).split()) # 去除停用词 stop_words = set(stopwords.words('english')) definition = definition.difference(stop_words) examples = examples.difference(stop_words) # 计算上下文与定义和例句的重叠度 overlap = len(context.intersection(definition)) + len(context.intersection(examples)) # 选择最佳的同义词集 if overlap > max_overlap: max_overlap = overlap best_sense = synset return best_sense.definition() sentence = "I went to the bank to deposit my money." word = "bank" print(lesk_disambiguate(word, sentence.split())) ``` 这两种算法的实现过程大致相同，不同之处在于Lesk算法会去除停用词。在使用时只需传入待消歧义的单词和句子即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值