维特比算法实现词性标注

参照贪心科技的视频,按照其中的教学一步一步写出的代码,经过测试,可以运行,写出来供大家参考学习之。

import numpy as np

tag2id, id2tag = {
   }, {
   }
word2id, id2word = {
   }, {
   }
for line in open('traindata.txt'):  # 抽取单词和词性
    items = line.split('/')
    word, tag = items[0], items[1].rstrip()
    if word not in word2id:
        word2id[word] = len(word2id)
        id2word[len(id2word)] = word
    if tag not in tag2id:
        tag2id[tag] = len(tag2id)
        id2tag[len(id2tag)] = tag
M = len(word2id)  # 词典的大小
N = len(tag2id)  # 词性种类个数
# print(M, N)
# print(id2tag)

# 构建 pi,A,B
pi = np.zeros(N)  # 每个单词出现在句子第一个位置的概率
A = np.zeros((N, M))  # A[i
  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值