自然语言处理(六)——词性消歧

本文探讨了词性消歧在自然语言处理中的重要性,通过举例说明了词性标注的挑战,并介绍了有限状态转换机在解决词性消歧问题中的基本步骤,包括转换规则和上下文依赖的考虑。尽管对于专业人士来说可能较为基础,但本文旨在帮助作者巩固记忆并可能为他人提供参考。
摘要由CSDN通过智能技术生成

一、前言

词性标注就是将每个单词的词性标注出来,标注的实现可以利用语料库,但是同一个单词在不同的句子可能会有不同的词性,这时就需要词性消歧。下面举一个例子。

以下三个句子,分别标注了词性,np是名词,vbn是过去分词,vbd是过去式,by是介词by

(1)  Chapman/np killed/vbn John/np Lennon/np John/np

(2)  Lennon/np was/bedz shot/vbd by~by Chapman/np

(3)  He/pps witnessed/vbd Lennon/np killed/vbn by~by Chapman/np

第一个句子中显然killed的词性标注是错误的,第二个句子中shot的词性标注是错误的。因此如何将词性正确的标注就是本篇文章要解决的问题。

二、有限状态转换机实现词性消歧

根据宗成庆老师的书,实现过程有以下步骤:

(1) 将每一条词性标注规则转换成相应的状态转换机。

上面两个图就是状态转换机,区别于有限自动机,状态转换机的输入会发生变化,vbn/vbd的意思就是vbn前面是np,就将vbn改为vbd。vbd后面是

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值