用深度学习做命名实体识别(七)-CRF介绍

最新推荐文章于 2024-10-07 17:16:56 发布

程序员一一涤生

最新推荐文章于 2024-10-07 17:16:56 发布

阅读量1k

点赞数 4

本文链接：https://blog.csdn.net/anaijiabao/article/details/102849630

版权

本文介绍了条件随机场(CRF)的基本概念及其在命名实体识别中的作用。CRF是一种考虑上下文信息的序列标注模型，用于解决序列中每个位置状态依赖相邻位置状态的问题。BERT通过学习序列状态特征，结合CRF层进行实体识别，提高了预测准确性。CRF层通过学习状态和转移特征，避免了明显的标注错误，提升了模型表现。

摘要由CSDN通过智能技术生成

还记得之前介绍过的命名实体识别系列文章吗，可以从句子中提取出人名、地址、公司等实体字段，当时只是简单提到了BERT+CRF模型，BERT已经在上一篇文章中介绍过了，本文将对CRF做一个基本的介绍。本文尽可能不涉及复杂晦涩的数学公式，目的只是快速了解CRF的基本概念以及其在命名实体识别等自然语言处理领域的作用。

什么是CRF？

CRF，全称 Conditional Random Fields，中文名：条件随机场。是给定一组输入序列的条件下，另一组输出序列的条件概率分布模型。

什么时候可以用CRF？

当输出序列的每一个位置的状态，需要考虑到相邻位置的状态的时候。举两个例子：
1、假设有一堆小明日常生活的照片，可能的状态有吃饭、洗澡、刷牙等，大部分情况，我们是能够识别出小明的状态的，但是如果你看到一张小明露出牙齿的照片，在没有相邻的小明的状态为条件的情况下，是很难判断他是在吃饭还是刷牙的。这时，就可以用crf。
2、假设有一句话，这里假设是英文，我们要判断每个词的词性，那么对于一些词来说，如果不知道相邻词的词性的情况下，是很难准确判断每个词的词性的。这时，也可以用crf。