CRF代码及实现原理（二）

最新推荐文章于 2024-08-24 07:24:06 发布

c-minus

最新推荐文章于 2024-08-24 07:24:06 发布

阅读量5.3k

点赞数 6

分类专栏： NLP

本文链接：https://blog.csdn.net/cpluss/article/details/88825748

版权

主要介绍CRF代码实现
代码来源：pytorch官网
代码链接： https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html
配合另一篇文章讲解，看此篇之前，最好看一下另一篇文章（CRF原理以及维特比解码），看完之后会很容易理解
另一篇文章链接：https://blog.csdn.net/cpluss/article/details/88824303
注意看汉语注释，完整的代码详见上面的链接

#代码的主体部分
START_TAG = "<START>"
STOP_TAG = "<STOP>"
EMBEDDING_DIM = 5
HIDDEN_DIM = 4

# 简单的训练数据
training_data = [(
    "the wall street journal reported today that apple corporation made money".split(),
    "B I I I O O O B I O O".split()
), (
    "georgia tech is a university in georgia".split(),
    "B I O O O O B".split()
)]

word_to_ix = {}
for sentence, tags in training_data:
    for word in sentence:
        if word not in word_to_ix:
            word_to_ix[word] = len(word_to_ix)

tag_to_ix = {&