viterbi用于中文词性标注

本文介绍了Viterbi算法如何解决词性标注的最优状态序列选择问题,详细阐述了词性标注转化为隐马模型的过程,包括状态转移概率矩阵和发射概率的计算,并概述了Viterbi算法的实现步骤和初始化参数设置。
摘要由CSDN通过智能技术生成

tag:词性标注,viterbi,解码算法

 

【今天看一篇分词和词性标注一体化的文章,解码问题又折腾了老半天,才想起来复习下viterbi】

 

该算法解决的是HMM经典问题中最优状态序列的选择问题。词性标注问题映射到隐马模型可以表述为:模型中状态(词性)的数目为词性符号的个数N;从每个状态可能输出的不同符号(单词)的数目为词汇的个数M。假设在统计意义上每个词性的概率分布只与上一个词的词性有关(即词性的二元语法),而每个单词的概率分布只与其词性相关。那么,我们就可以通过对已分词并做了词性标注的训练语料进行统计,需要统计如下矩阵:  

 

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值