《统计自然语言处理基础》笔记（2）语义消歧方法总结

最新推荐文章于 2024-05-18 17:31:51 发布
最新推荐文章于 2024-05-18 17:31:51 发布
阅读量4.2k 收藏 10
点赞数 2
分类专栏： 自然语言处理 文章标签： NLP 自然语言处理 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaweimember/article/details/21990603
版权
本文总结了语义消歧的三种主要方法：有监督消歧，包括贝叶斯分类和信息论方法；基于词典的消歧，如语义定义、类义辞典和双语对比；以及无监督消歧，利用EM算法进行上下文聚类。消歧关键在于有效利用上下文信息。
摘要由CSDN通过智能技术生成

语义消歧  可以看作分类问题。一个词W有K个含义，对W消歧 就是确定W在特定句子中究竟使用了哪一个含义，即把W分到K类中的一个。分类的依据则是和W邻近的词，即W的上下文C。

歧义可以分为两类：一类是词的语义有多种，如“bank”，可以是银行，也可以是河岸；另一类是词本身的词性也是多样的，如predicate，既能作为名字，也能作为动词。对于前者，

可能需要与W相隔较远的其他词参与消歧，而对于后者，往往通过邻近的词汇就能确定W的词性了。


常用的消歧方法：

最低0.47元/天 解锁文章
huaweimember
关注
专栏目录
统计自然语言处理基础学习笔记(4)——语义消除歧义
Kikim的地盘
12-14 8753
我们知道很多词语都有很多意思或语义，而在具体的语境中，词语有某种特定的意思。而独立于上下文来考虑词语意思，语义一般都会出现语义歧义。统计自然语言处理不得不考虑如何消除歧义问题。 消除歧义的任务就是确定一个多义词在一个特定的语境中使用哪一种语义。通过考虑词汇使用的上下文完全可以确定其具体的语义。那么如何确定一个词汇具有的语义，以及从这些语义确定某一种具体的语义呢？          比较
统计自然语言处理基础-第七章 语义消歧（笔记）
qq_44900754的博客
10-07 1875
统计自然语言处理基础-语义消歧-笔记
词义消歧
zhongfu的博客
03-04 7669
词义消歧在nlp中是重要的核心问题之一，词义、句义以及篇章含义层次都会根据不同的上下文环境产生不同的意义，消歧就是指根据上下文确定对象语义的过程。词义消歧是在词语层次上的语义消歧，常常在搜索引擎、意见挖掘、文本理解与产生、推理中具有应用。 一、常用的算法 1、监督学习算法 a.确定词表和释义表，如目标词“bass”，有两个释义：乐器-贝斯，鱼类-鲈鱼； b.获取语料：Googl...
统计学自然语言处理（语义消歧）
continueOo的博客
06-12 7891
概述本书本章描述自然语言处理中消除歧义的问题，并介绍几种重要的语义消歧算法，描述他们的资源需求和算法性能。消歧我们应该能直观的想象到就是一句话可能有几个意思。但是落实到具体细节中，我认为主要分以下几种： １．分词的消歧，这是很常见的一个例子(南京　市　长　江大桥)　 ２．多义词的具体词义 ３．词性的判断 对于词性的判断可以看做一个词性标注的问题词性标注的话，我们通常考虑邻近上下文。相反，如果
汉语语义消歧之 -- 词义消歧简介
weixin_30896763的博客
12-05 479
总算是到正题上了。。。 词义消歧，亦称语义消歧，是计算语言学领域的基础性关键研究课题。 对于许多词语（特别是汉语词语和一部分专有名词），一个词有许多种意思。 例如专有名词"卡特"，我们可以找到非常出名的两种含义： 1. 文斯·卡特（Vince Carter），美国职业篮球运动员 2. 詹姆斯·厄尔·卡特，1977年任美国第39任总统。 以及非常多的其他含义，包括：考古学家，斯...
自然语言处理笔记——学习自然语言处理前所要了解的知识
ZNWhahaha的博客
02-08 1318
学习自然语言处理前所要了解的知识自然语言处理自然语言与编程语言的区别词汇量结构化歧义性容错性易变性简略性自然语言处理结构语音、图像和文本中文分词、词性标注、命名实体识别信息抽取文本分类和聚类句法分析语义分析与篇章分析其他高级任务功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPan...
自然语言处理发展及应用综述 笔记
紫衫的博客
09-20 1895
自然语言处理发展及应用综述 笔记 一、小结 这一篇论文主要介绍了自然语言处理的整体研究方法，包括五步，即获取语料、对语料预处理、进行特征化、进行模型训练和最后的建模效果评估。绝大多数研究方法都遵循这五步。 然后是自然语言处理基础研究的区分，有词法分析、句法分析、语用分析和语义分析。其中语义分析是NLP研究的重点方向。 最后是对NLP研究领域的介绍，包括信息检索（IE）、文本分类、情感分析、机器翻...
自然语言处理（NLP）—— 词义消歧与词语相似性（Word similarity）
weixin_65190179的博客
03-11 1541
然后取目标词每个定义中的词汇，并将这。
指代消歧
Sigh～
05-26 2954
综述性文章《指代消解的基本方法和实现技术》。 分为两种，回指和共指。 有很多种处理方法。 开始的是基于规则的方法，比如hobbs（类似往前找合适的NP）、中心理论（向回看中心、向前看中心），然后基于句法的方法，以及基于训练集的方法，比如SVM等等（Deep Learning等也可以用了http://tcci.ccf.org.cn/conference/2013/NLPCC2013papers/
NLP 词义消歧
shui_chi_的博客
12-09 7650
NLP 词义消歧
词义消歧：调研与思考
最新发布
m0_62042674的博客
05-18 828
词义消歧（Word-sense disambiguation，简称WSD）是识别在一个句子或其他上下文段落中所指的词义的过程。歧义与消歧是自然语言理解中最核心的问题，在词义、句义、篇章含义层次都会出现语言在上下文语义不同的现象，消歧即根据上下文确定对象语义的过程。词义消歧即在词语层次上的语义消歧。语义消歧（词义消歧）是自然语言处理任务的一个核心与难点，影响了几乎所有任务的性能，比如搜索引擎、意见挖掘、文本理解与产生、推理等。在语言学长期发展的过程中，语言本身积累了许多一词多义的用法。
基于TF-IDF值的汉语语义消歧算法
weixin_30888413的博客
12-04 238
RT，学校课题需要233，没了 话说，窝直接做个链接的集合好了，方便以后查找 特征值提取之 -- TF-IDF值的简单介绍 汉语语义消歧之 -- 句子相似度 汉语语义消歧之 -- 词义消歧简介 c++读入之 -- 汉字读入遇到的问题 c++实现之 -- 汉语词语的简单处理 c++实现之 -- 文章TF-IDF值的计算 转载于:https://www.cnblogs.com/rause...
NLP-文本处理：词性消歧
u013250861的博客
03-28 492
深度学习-自然语言处理(NLP)-文本预处理：消歧分析
技术解读 | 基于fastText和RNN的语义消歧实战
机器之心
07-16 1729
消歧问题的基线可以借助贝叶斯、Lesk等简单算法来设计 1.问题的引入 在我们云脑科技最近的一个项目中，需要对文本中提取的实体进行消歧(WSD, Word Sense Disambiguation)，即确定某个实体在当前上下文中是我们期望的一个意义。 比如， ...
【实战技能】自然语言处理（NLP）的案例三：使用VSM实现词义消歧
苹果二的博客
05-22 1394
自然语言处理，前面和大家说了 【新手上路常见问答】关于自然语言处理（NLP） 【实战技能】自然语言处理（NLP）的案例一：依赖解析 【实战技能】自然语言处理（NLP）的案例二：语言建模和词性标注 词义消歧 词义消歧（Word Sense Disambiguation WSD）是确定在特定上下文中歧义词的具体意义。 这个问题的解决方案影响其他NLP相关的问题，如机器翻译和文档检索。本文聊聊如何消除先前选择的目标词的小样本的出现，也就是词法样本。词义消歧（WSD）的算法包括基于字典的方法，半监督方法，监督方
实 体 消 歧 综 述
kuxingseng123的博客
02-15 2176
先自己大致了解该模块包括什么，然后会自己构建知识图谱，以及相关领域进行研究。
工具：命名实体识别与消歧(Named Entity Recognition/Disambiguation)与词义消歧(Word Sense Disambiguation)
caiyuanyuan_bjtu的专栏
11-02 8718
 对命名实体识别与消歧(Named Entity Recognition/Disambiguation)与词义消歧(Word Sense Disambiguation)有兴趣的同学注意了：ACL主席Gertjan van Noord等欧洲NLP科学家近日编撰了一篇非常棒的报告，汇总了大量的实体识别与消歧，词义消歧数据集，工具集。强烈推荐！
语义分析（词义消歧，语义角色标注）
wwx123521的博客
04-28 4590
在词的层次上，语义分析的基本任务是进行词义消歧（WSD），在句子层面上是语义角色标注（SRL），在篇章层面上是指代消歧，也称共指消解。 词义消歧（WSD） 词义消歧有时也称为词义标注，其任务就是确定一个多义词在给定上下文语境中的具体含义。 词义消歧的方法也分为有监督的消歧方法和无监督的消歧方法，在有监督的消歧方法中，训练数据是已知的，即每个词的词义是被标注了的；而在无监督的消歧方法中，训练数...
深度学习与自然语言处理：CS224n中文笔记全集
"这是一份全面的CS224n自然语言处理课程的中文笔记，包含从基础到高级的各种主题，并且每个主题都有相应的标签，便于查找和学习。该课程由斯坦福大学提供，适合作为深度学习入门的学习资料，同时在网易云课堂可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值