CRF

最新推荐文章于 2021-08-09 11:32:44 发布
最新推荐文章于 2021-08-09 11:32:44 发布
阅读量1.9k 收藏 21
点赞数 4
分类专栏： NLP 文章标签： CRF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyang_yangqi/article/details/88662737
版权

随机场：由若干个子集组成的一个整体，而每个子集都按照某个分布随机赋予一个值，这个场就叫随机场。

马尔科夫随机场：随机场中某^{h_{1}}一位置的赋值仅与其相邻位置的赋值有关，和与其不相邻位置的赋值无关。

CRF是马尔科夫随机场的特例，它假设马尔科夫随机场中只有X和Y两种变量，X一般是给定的，而Y一般是在给定X的条件下的输出。

BiLSTM-CRF在NER上的实践总结

使用基于字的BILSTM-CRF，可以用如Bakeoff-3评测采用的BIO表注集

常用的网络结构是双向LSTM后接一个softmax层，输出各个label的概率，然后再接一个CRF层。

  • 句子中的每一个单元都代表着字或词嵌入构成的向量，在输入模型训练之前，设置Dropout缓解过拟合
  • 字或词向量作为BILSTM-CRF模型的输入，双向LSTM层用来自动提取句子特征。
  • 双向LSTM接受句子的每个字的embedding序列作为输入，将正向LSTM的隐层输出^{h_{1}}和反向LSTM输出的隐层输出^{h_{2}}进行拼接^{h_{t}}=[^{h_{1}};^{h_{2}}]，得到完整的隐状态序列；在经过设置的Dropout后，再介入一个线性层，将隐状态映射为k维(k是标签集的标签数)。线性层的输出R{^{n*k}}为提取的句子特征，可以理解为将字^{x_{i}}分类到第j个标签的打分值。
  • 如果在线性层后接一层softmax层，就变成了对各个字进行k分类了。但是这样没有考虑连续字标注的合理性(无法利用前面标注过的信息)，所以需要CRF层来进行标注。
  • CRF层用来进行句子级的序列标注。CRF层的参数是一个(k+2) *(k+2)的矩阵A，Aij表示的是从第i个标签到第j个标签的转移得分，所以在一个位置进行标注的时候就可以利用前面标注过的标签。加2 是因为要为句子首部添加一个起始状态以及为句子尾部添加一个终止状态。如果一个长度等于句子长度的标签序列y=(y1,y2,y2,.......yn),模型对于句子x的标签打分等于y的打分公式:score\left ( x, \right y)= \m\sum_{i=1}^{n} P_{i,yi}\dotplus \sum_{i=1}^{n+1}A_{yi-1,yi}
  • 可以看出整个序列的打分等于各位置的打分之和，而且每个位置的打分由两部分得到：LSTM输出的^{P_{i}}以及CRF的转移矩阵A决定。

softmax层的输出是相互独立的，虽然BiLSTM学习到了上下文的信息，但是输出信息互不影响，没有CRF的话只是在每一步挑选一个最大概率的label输出。这样会有问题：虽然每次的输出都是最大概率的label，但我们并不能保证每次预测都是正确的。而CRF中有转移特征，它会考虑输出label的顺序性。或者更准确的说，CRF层可以为最后预测的标签添加一些约束来保证预测的标签是合法的。在训练的过程中，这些约束可以通过CRF层自动学习到。

公式化表示条件随机场

在给定的观测序列X时，某个待定标记序列Y的概率可以定义为：

^{t_{j}}(^{y_{i-1}},^{y_{i}},x,i)是转移概率，S_{k}(^{y_{i}},x,i)是状态概率，表示观测序列在位置i的标记概率

 

算法理论参考

CRF中的约束就是CRF的特征函数。特征函数接收四个参数：

  • 句子(标注词性的句子)
  • 句子s中的第i个单词
  • 序列标注给第i个单词标注的词性
  • 序列标注给第i-1个单词标注的词性

特征函数的输出是0或1，0表示评分不符合这个特征，1表示要评分的标注序列符合这个特征

为了构建一个条件随机场，首先要定义一个特征函数集。每个特征函数都以整个句子s，当前位置i，位置i-1的标签作为输入，然后为每一个特征函数赋予一个权重，然后针对每一个标注序列，对这些特征函数加权求和。

 

 

向阳争渡
关注
  • 4
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tf2crf:张量流2 keras的CRF层
05-16
tf2crf 一个简单的CRF层用于tensorflow 2 keras 支持keras遮罩 安装 $ pip install tf2crf 特征 易于使用的带有张量流的CRF层 支持混合精度训练 支持具有DSC丢失的ModelWithCRFLossDSCLoss，这会在数据不平衡的情况下提高f1得分（请参阅） 注意力 在keras_contrib中添加CRF之类的内部内核，因此现在无需在CRF层之前堆叠Dense层。 我已经更改了将损耗函数和精度函数放在CRF层中的以前的方式。 相反，我选择使用ModelWappers（称为jaspersjsun），它更干净，更灵活。 尖端 tensorflow> = 2.1.0建议使用与您的tf版本兼容的最新tensorflow-addons。 例子 import tensorflow as tf from tf2CRF import CRF
手写CRF 语言模板
12-11
**手写CRF语言模板详解** 条件随机场（Conditional Random Fields, CRF）是一种用于序列标注的统计建模方法，广泛应用于自然语言处理领域，如词性标注、命名实体识别等任务。在这个“手写CRF语言模板”项目中，我们...
NLP --- 条件随机场CRF详解 重点 特征函数 转移矩阵
kyle1314608的博客
07-15 1468
上一节我们介绍了CRF的背景，本节开始进入CRF的正式的定义，简单来说条件随机场就是定义在隐马尔科夫过程的无向图模型，外加可观测符号X，这个X是整个可观测向量。而我们前面学习的HMM算法，默认可观测符号是独立的，但是根据我们的实际语言来说，独立性的假设太牵强，不符合我们的语言规则，因此在HMM的基础上，我们把可观测符号的独立性假设去掉。同时我们知道HMM的解法是通过期望最大化进行求解，而...
crf中的状态转移
qq_20849045的博客
07-10 2044
crf条件随机场，有一个初始状态矩阵、状态转移矩阵和发射矩阵。 在用bilstm+crf做ner时状态转移矩阵常常有问题，比方说直接从”O“跳到“I”（BIO标注方式下）。看了tensorflow的代码后明白了原因所在：在没有给定状态转移矩阵时(通常不会给出状态转移矩阵)，tensorflow随机初始一个状态转移矩阵，然后在训练的过程中学习这个状态转移矩阵。问题的原因是tf随机初始的，对于神经网络而言，初始值是非常重要的。一个好的初始值会让模型得到一个好的结果，一个不好的初始值很有可能让模型在一开始就跑偏
Tensorflow2.0 Tensorflow_addons实现CRF（条件随机场）
qq_41626059的博客
10-16 4910
最近想使用TF2.0实现一下命名实体识别，但是不大知道条件随机场该怎么实现，在网上搜了一下也没看到。今早吃饭的时候还在想我一定要亲自实现TF2版本的条件随机场。结果就在上课的时候突然发现了谷歌把contrib迁移到Tensorflow_addons里面 import tensorflow_addons as tfa import tensorflow as tf import numpy as np inputs=tf.random.truncated_normal([2,10,5]) target=tf
lstm-crf_LSTM_CRF_
10-02
在自然语言处理（NLP）领域，LSTM（Long Short-Term Memory）和CRF（Conditional Random Field）是两种常用的技术，尤其在序列标注任务，如命名实体识别（NER）中发挥着重要作用。本项目“lstm-crf_LSTM_CRF_”结合...
CRF.rar_CRF
09-14
CRF，全称为Conditional Random Fields（条件随机场），是一种用于序列标注和结构预测的概率图模型。在自然语言处理（NLP）和计算机视觉等领域中，CRF被广泛应用于词性标注、命名实体识别、语义角色标注等任务，因为...
lstm+crf、bilstm+crf 、LSTM CRF pytorch 命名实体识别代码
04-21
本项目利用了深度学习模型，特别是结合了长短期记忆网络（LSTM）和条件随机场（CRF）的结构，以PyTorch框架实现。以下将详细解析这些关键概念及其在NER中的应用。 首先，LSTM是一种特殊的循环神经网络（RNN），旨在...
CRF++ 0.54
09-14
CRF++ 0.54 是一款开源的条件随机场（Conditional Random Fields, CRF）实现工具，由Taku Kudo开发。CRF是一种监督学习算法，常用于序列标注任务，如自然语言处理中的命名实体识别（NER）、词性标注（POS tagging）...
Python-一个非常简单的BiLSTMCRF模型用于中文命名实体识别TensorFlow
08-11
一个非常简单的 BiLSTM-CRF 模型用于中文命名实体识别 (TensorFlow)
keras处理欠拟合和过拟合的实例讲解
12-17
baseline import tensorflow.keras.layers as layers baseline_model = keras.Sequential( [ layers.Dense(16, activation='relu', input_shape=(NUM_WORDS,)), layers.Dense(16, activation='relu'), layers.Dense(1, activation='sigmoid') ] ) baseline_model.compile(optimizer='adam', loss='binary_crossen
CRF详细讲解
06-11
CRF详细讲解，希望对大家有所帮助。
CRF-NER模型
12-11
**CRF-NER模型** 命名实体识别（Named Entity Recognition，简称NER）是自然语言处理（Natural Language Processing，NLP）领域中的一个重要任务，其目的是在文本中自动识别出具有特定意义的实体，如人名、地名、...
keras 中文ner使用，crf 原理以及转移矩阵解读
hxshine的博客
09-26 1830
1. 目标 看下keras解决ner问题是否比较方便，摸摸坑 2. 两个比较好的项目 keras-bert-ner https://github.com/liushaoweihua/keras-bert-ner/ keras社区提供的一个包 https://github.com/keras-team/keras-contrib 3. 使用步骤 # 1. 下载:https://github.com/liushaoweihua/keras-bert-ner git clone https://github.
条件随机场转移矩阵
专栏
03-19 416
tensorflow笔记3：CRF函数：tf.contrib.crf.crf_log_likelihood() https://www.cnblogs.com/lovychen/p/8490397.html https://www.zhihu.com/question/57666556/answer/326803900
BiLSTM+CRF的损失由发射矩阵和转移矩阵计算而得 BiLSTM+CRF命名实体识别：达观杯败走记（下篇
studyvcmfc的专栏
08-09 1804
如果是训练，那么直接用发射矩阵和真实标签去计算Loss，用于更新梯度。 这需要用到CRF中的forward函数。 如果是预测，那么就用发射矩阵去进行维特比解码，得到最优路径（预测的标签）。 这需要用到CRF中的decode函数。 所谓的CRF层，其实也就是一些可学习的参数，如下图： 我仔细看了这个库的代码，才发现原来这个库会把自动添加<start>和<end>的转移概率，这也就意味着，我们无需在标签中手动加入这两个标记，同样样本的前后也无需添加这两个
Tensorflow2.0之CRF的下载
weixin_43788143的博客
09-17 1156
近期想用Tensorflow2.0版本做一个BiLSTM+CRF的实体识别，在Tensorflow1.x的版本中 contrib模块中有CRF，可是发现Tensorflow2.0把contrib模块去掉了。后来在网上翻了一些资料查到CRF还在测试和更新。有一个包叫tensorflow_addons 在这个里面有集成CRF。GitHub 这是连接。 然后我使用 pip install tensorflow_addon 发现可以下载 下载成功以后我试着导入了一下 发现完全可以导入进来，至于其效果好不好等用过
python crf
最新发布
12-24
Python CRF是一种基于Python编程语言的条件随机场模型。条件随机场是一种概率图模型，常用于序列标注、命名实体识别、自然语言处理等任务。Python CRF库可以帮助用户快速地构建和训练条件随机场模型，并且提供了丰富...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值