CRF和LSTM 模型在序列标注上的优劣？

最新推荐文章于 2024-05-20 09:43:23 发布
最新推荐文章于 2024-05-20 09:43:23 发布
阅读量812 收藏 1
点赞数 1

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要7分钟

跟随小博主，每天进步一丢丢

编辑：忆臻

https://www.zhihu.com/question/46688107

本文仅作为学术分享，如果侵权，会删文处理

CRF和LSTM 模型在序列标注上的优劣？

作者：谢志宁
https://www.zhihu.com/question/46688107/answer/117448674

两者各有优缺点：

LSTM：像RNN、LSTM、BILSTM这些模型，它们在序列建模上很强大，它们能够capture长远的上下文信息，此外还具备神经网络拟合非线性的能力，这些都是crf无法超越的地方，对于t时刻来说，输出层y_t受到隐层h_t（包含上下文信息）和输入层x_t（当前的输入）的影响，但是y_t和其他时刻的y_t`是相互独立的，感觉像是一种point wise，对当前t时刻来说，我们希望找到一个概率最大的y_t，但其他时刻的y_t`对当前y_t没有影响，如果y_t之间存在较强的依赖关系的话（例如，形容词后面一般接名词，存在一定的约束），LSTM无法对这些约束进行建模，LSTM模型的性能将受到限制。

CRF：它不像LSTM等模型，能够考虑长远的上下文信息，它更多考虑的是整个句子的局部特征的线性加权组合（通过特征模版去扫描整个句子）。关键的一点是，CRF的模型为p(y | x, w)，注意这里y和x都是序列，它有点像list wise，优化的是一个序列y = (y1, y2, …, yn)，而不是某个时刻的y_t，即找到一个概率最高的序列y = (y1, y2, …, yn)使得p(y1, y2, …, yn| x, w)最高，它计算的是一种联合概率，优化的是整个序列（最终目标），而不是将每个时刻的最优拼接起来，在这一点上CRF要优于LSTM。

HMM：CRF不管是在实践还是理论上都要优于HMM，HMM模型的参数主要是“初始的状态分布”，“状态之间的概率转移矩阵”，“状态到观测的概率转移矩阵”，这些信息在CRF中都可以有，例如：在特征模版中考虑h(y1), f(y_i-1, y_i), g(y_i, x_i)等特征。

CRF与LSTM：从数据规模来说，在数据规模较小时，CRF的试验效果要略优于BILSTM，当数据规模较大时，BILSTM的效果应该会超过CRF。从场景来说，如果需要识别的任务不需要太依赖长久的信息，此时RNN等模型只会增加额外的复杂度，此时可以考虑类似科大讯飞FSMN（一种基于窗口考虑上下文信息的“前馈”网络）。

CNN＋BILSTM＋CRF：这是目前学术界比较流行的做法，BILSTM＋CRF是为了结合以上两个模型的优点，CNN主要是处理英文的情况，英文单词是由更细粒度的字母组成，这些字母潜藏着一些特征（例如：前缀后缀特征），通过CNN的卷积操作提取这些特征，在中文中可能并不适用（中文单字无法分解，除非是基于分词后），这里简单举一个例子，例如词性标注场景，单词football与basketball被标为名词的概率较高， 这里后缀ball就是类似这种特征。

BILSTM+CRF的Tensorflow版本：https://github.com/chilynn/sequence-labeling，主要参考了GitHub - glample/tagger: Named Entity Recognition Tool的实现，tagger是基于theano实现的，每一轮的参数更新是基于一个样本的sgd，训练速度比较慢。sequence-labeling是基于tensorflow实现的，将sgd改成mini-batch sgd，由于batch中每个样本的长度不一，训练前需要padding，最后的loss是通过mask进行计算（根据每个样本的真实长度进行计算）。

作者：愚蠢队长
https://www.zhihu.com/question/46688107/answer/120114053

一、
做为一种概率图模型，CRF在理论上更完美一些，一步一步都有比较坚实的理论基础。不过CRF的假设也比较明确，然而问题不总是能match其假设的。
LSTM理论上是能拟合任意函数的，对问题的假设明显放宽了很多。不过深度学习类模型的理论原理和可解释性一般。

二、
CRF比较难扩展，想在图模型上加边加圈，得重新推导公式和写代码。
LSTM想stack起来、改双向、换激活函数等，只不过左手右手一个慢动作的事儿。

三、
CRF针对大数据不好做。
LSTM有各种GPU加速，多机异步SGD等标准大数据训练套路。但同样的问题，训练数据不够的话过拟合会很严重，效果堪忧。

四、
LSTM可以当做对序列的一种『中间状态』的建模，建模结果还可以当做特征，扔给其他模型继续用。

作者：万广鲁
https://www.zhihu.com/question/46688107/answer/136928113

LSTM和crf是两个层面的东西。


crf的核心概念，是计算序列全局的似然概率，其更像一个loss的选择方式。与其相对应的应该是cross entropy。crf把一个序列当作一个整体来计算似然概率，而不是计算单点的似然概率。这样使得其在序列标注问题中效果比较好。


即使现在主流使用LSTM模型的，也会在loss层使用crf，基本验证是更好的。而与LSTM相对应的应该是原来crf模型中特征层面的东东。比如在传统的crf模型中，需要人工选择各种特征，但是目前主流的解决方案中倾向于，embedding层+bilstm层，直接机器学习到特征。也就是end-to-end的思路。

方便交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐阅读：

【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文

【一分钟论文】IJCAI2019 | Self-attentive Biaffine Dependency Parsing

【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译

【一分钟论文】Semi-supervised Sequence Learning半监督序列学习

【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing

详解Transition-based Dependency parser基于转移的依存句法解析器

经验 | 初入NLP领域的一些小建议

学术 | 如何写一篇合格的NLP论文

干货 | 那些高产的学者都是怎样工作的？

一个简单有效的联合模型

近年来NLP在法律领域的相关研究工作

zenRRan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
序列标注常用模型CRF、HMM、MEMM简介及比对
data+scenario+science+insight
08-07 899
序列标注常用模型CRF、HMM、MEMM简介及比对 隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。 生成式模型：联合概率P(Y, X) = P(Y|X) * P(X)=P(X|Y)*P(Y) 判别式模型：条件概率P(Y|X) = P(X|Y) / P(X) 从机器学习视角来看贝叶斯，
序列标注（三）——模型对比
10-12 227
序列标注模型（一）——HMM 序列标注模型（二）—— CRF
CRF模型
m0_69378371的博客
05-20 378
双向长短期记忆网络（BiLSTM，Bidirectional Long Short-Term Memory）**是一种特殊的循环神经网络（RNN），它在自然语言处理（NLP）、时间序列分析等领域具有广泛应用。BiLSTM通过在两个方向上处理输入序列，能够更好地捕捉序列中每个时间步长的上下文信息。
条件随机场CRF
weixin_45885232的博客
04-27 216
CRF可以方便的处理各类序列标注问题，最常见的形式是链式结构，其最大的优点是，每次标注都会充分考虑已有结果的影响。给定一个输入的字符序列C=c1c2...cTC=c_1c_2...c_TC=c1​c2​...cT​，输出序列LLL的计算过程： P(L∣C)=1Z(C)exp(∑t=1T∑kλkfk(lt,lt−1,C,t))P(L|C)=\frac{1}{Z(C)}exp(\sum_{t=1}^T\sum_k \lambda_kf_k(l_t,l_{t-1},C,t))P(L∣C)=Z(C)1​exp(∑t
CRF
zr7116的博客
07-12 356
隐马尔科夫模型定义 隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐藏的马尔可夫链随机生成的状态的序列，称为状态序列（state sequence);每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence)。 的每一个位置又可以看作是...
crf与lstm+crf的简单对比
10-25 2146
  很早以前就使用crf做过命名实体识别，前一阵子又使用lstm+crf做了命名实体识别这个任务。现在有时间补一个笔记，记一下使用中的一些感受和想法。 1）crf这个算法用来做命名实体识别比较容易达到不错的效果。使用2/3的人民日报免费的那两个月的数据，不加任何特征，只使用字的信息，F1也可以跑到0.85左右。结果见下图（使用CRF++5.4版本 ，结果在测试集上计算）。 2）lsmt+crf这...
LSTM+CRF序列标注案例
最新发布
07-31
本文阐述了 LSTM + CRF 序列标注的实例，涵盖了...BiLSTM 和 CRF 的序列标注模型的构建与数据准备的代码剖析、BiLSTM - CRF 模型的训练准备与数据处理的代码剖析、BiLSTM - CRF 模型的训练与预测结果处理的代码剖析。
基于字符的BiLSTM-CRF序列标注模型（python源码+项目说明）.zip
03-06
基于字符的BiLSTM-CRF序列标注模型（python源码+项目说明）.zip基于字符的BiLSTM-CRF序列标注模型（python源码+项目说明）.zip基于字符的BiLSTM-CRF序列标注模型（python源码+项目说明）.zip基于字符的BiLSTM-CRF...
构建BiLSTM-CRF模型进行序列标注（python算法源码+项目说明）.zip
03-06
构建BiLSTM-CRF模型进行序列标注（python算法源码+项目说明）.zip构建BiLSTM-CRF模型进行序列标注（python算法源码+项目说明）.zip构建BiLSTM-CRF模型进行序列标注（python算法源码+项目说明）.zip构建BiLSTM-CRF...
mindspore LSTM+CRF序列标注
06-30
mindspore LSTM+CRF序列标注
BiLSTM-CRF解决序列标注问题
11-07
综上所述，BiLSTM-CRF模型是序列标注任务的有力工具，尤其在命名实体识别中表现突出。通过将深度学习的强大学习能力与CRF的全局优化相结合，它能够有效地捕捉上下文信息和标签间的依赖关系，提高标注的准确性和一致...
Python-一个非常简单的BiLSTMCRF模型用于中文命名实体识别TensorFlow
08-11
一个非常简单的 BiLSTM-CRF 模型用于中文命名实体识别 (TensorFlow)
条件随机场专题（1）--CRF介绍
龙王Black的博客
07-31 1000
CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一。
HMM,MEMM,CRF模型的比较
hufei_neo的博客
08-06 1779
HMM,MEMM,CRF模型的比较 这三个模型都可以用来做序列标注模型。但是其各自有自身的特点，HMM模型是对转移概率和表现概率直接建模，统计共现概率。而MEMM模型是对转移 概率和表现概率建立联合概率，统计时统计的是条件概率。MEMM容易陷入局部最优，是因为MEMM只在局部做归一化，而CRF模型中，统计了全局概率，在 做归一化时，考虑了数据在全局的分布，而不是仅仅在局部归一化，这样就解决了ME...
LSTM+CRF介绍
热门推荐
chonghlyln的博客
07-21 2万+
 LSTM和CRF要解决问题的：序列标注问题（中文分词、词性识别、命名实体识别、机器翻译等） 本文先介绍LSTM的基本结构，再介绍LSTM与CRF结合的方法（CRF的具体算法介绍不包括在本文中）。 LSTM是RNN的一种特殊形式，首先看一下RNN单元的基本结构定义： 简单解释一下，RNN其实是希望能模拟人类大脑处理信息的方式，人类的大脑所接收的信号可以分为外部（即我们的感知，视觉、听觉
命名实体识别—NER——CRFPP
南七小僧的学海无涯
11-02 1246
在深度学习技术火起来之前，主流的、最有效的方法，就是CRF(条件随机场)模型。本文不对CRF模型进行展开讲解，而是结合我之前参加的瑞金医院NER赛题，直接用CRF++工具进行实战。下面直接进入正题。   1.赛题解读 赛题介绍：http://www.datafountain.cn/#/competitions/269/intro 总结一下，这个题目要求我们对数据集中的每条记录，提取出正...
【原创】序列标注之Bi-LSTM+CRF
suvedo的博客
11-04 1569
本文讲解序列标注任务。 序列标注是自然语言处理的基本任务，包括词性标注、中文分词、槽位识别等。 例如，在中文分词任务中，模型为每个字打上s/b/m/e等标签，分别表示单字成词、词语起始字、词语中间字、词语结尾字，将标签b/m/e结合起来就成了一个中文词，而s则单独分成一个中文词。 解决序列标注问题常用的方法有HMM、MEMM、CRF、LSTM等，目前工业上比较成熟的方案是Bi-LSTM+CRF， 2018年google提出了BERT作为预训练词向量模型，其具有比Bi-LSTM更强的特征学习能力，因此现在很多
人工智能基础部分18-条件随机场CRF模型的应用
weixin_42878111的博客
05-17 1289
大家好，我是微学AI，今天给大家介绍一下人工智能基础部分18-条件随机场CRF模型的应用，本文将详细介绍条件随机场(CRF)模型，包括其原理、应用场景及实际代码实现。我将通过一个生活中的简单数据样例来演示如何输入数据、运行模型以及分析结果。
nlp基础—12.LSTM-CRF模型介绍
柳杰的博客
07-08 5219
文章目录引言一、模型介绍1. LSTM模型2. BI-LSTM（双向LSTM）模型3.CRF模型4. LSTM+CRF模型5. BiLSTM+CRF模型 引言   本文讨论的是序列标注问题，所使用的模型是将两种现有的模型(LSTM+CRF)进行拼接，一种模型是双向LSTM模型，一种是CRF模型。下面介绍如何结合LSTM和CRF用于sequence tagging，并且对这些结合的效果进行测量。 一、模型介绍   本篇文章涉及以下几种模型：LSTM,BI-LSTM,CRF,LSTM+CRF,BI-LSTM+C
基于lstm-crf的序列标注的模型代码
06-07
以下是使用TensorFlow实现基于LSTM-CRF的序列标注的模型代码示例： ``` import tensorflow as tf from tensorflow.contrib.crf import crf_log_likelihood, viterbi_decode class BiLSTM_CRF(object): def __init__(self, num_chars, num_tags, embedding_dim, hidden_dim, batch_size=64, learning_rate=0.001): self.num_chars = num_chars self.num_tags = num_tags self.embedding_dim = embedding_dim self.hidden_dim = hidden_dim self.batch_size = batch_size self.learning_rate = learning_rate self.inputs = tf.placeholder(tf.int32, shape=[None, None], name='inputs') self.targets = tf.placeholder(tf.int32, shape=[None, None], name='targets') self.seq_length = tf.placeholder(tf.int32, shape=[None], name='seq_length') self._build_model() self._build_loss() self._build_optimizer() self.sess = tf.Session() self.sess.run(tf.global_variables_initializer()) def _build_model(self): # 定义词嵌入层 self.word_embeddings = tf.Variable(tf.random_uniform([self.num_chars, self.embedding_dim], -1.0, 1.0), name='word_embeddings') embeddings = tf.nn.embedding_lookup(self.word_embeddings, self.inputs) # 定义双向LSTM层 cell_fw = tf.contrib.rnn.LSTMCell(self.hidden_dim) cell_bw = tf.contrib.rnn.LSTMCell(self.hidden_dim) (output_fw, output_bw), _ = tf.nn.bidirectional_dynamic_rnn(cell_fw, cell_bw, embeddings, dtype=tf.float32, sequence_length=self.seq_length) output = tf.concat([output_fw, output_bw], axis=-1) # 定义全连接层 W = tf.get_variable('W', shape=[2*self.hidden_dim, self.num_tags], initializer=tf.contrib.layers.xavier_initializer()) b = tf.get_variable('b', shape=[self.num_tags], initializer=tf.zeros_initializer()) output = tf.reshape(output, [-1, 2*self.hidden_dim]) logits = tf.matmul(output, W) + b self.logits = tf.reshape(logits, [-1, tf.shape(self.inputs)[1], self.num_tags]) # 定义CRF层 self.transition_params = tf.get_variable('transition_params', shape=[self.num_tags, self.num_tags], initializer=tf.contrib.layers.xavier_initializer()) def _build_loss(self): log_likelihood, self.transition_params = crf_log_likelihood(inputs=self.logits, tag_indices=self.targets, sequence_lengths=self.seq_length, transition_params=self.transition_params) self.loss = tf.reduce_mean(-log_likelihood) def _build_optimizer(self): self.optimizer = tf.train.AdamOptimizer(self.learning_rate).minimize(self.loss) def train(self, inputs, targets, seq_length): feed_dict = {self.inputs: inputs, self.targets: targets, self.seq_length: seq_length} _, loss = self.sess.run([self.optimizer, self.loss], feed_dict=feed_dict) return loss def predict(self, inputs, seq_length): feed_dict = {self.inputs: inputs, self.seq_length: seq_length} logits, transition_params = self.sess.run([self.logits, self.transition_params], feed_dict=feed_dict) viterbi_sequences = [] for logit, length in zip(logits, seq_length): logit = logit[:length] viterbi_seq, _ = viterbi_decode(logit, transition_params) viterbi_sequences.append(viterbi_seq) return viterbi_sequences ``` 这里实现了一个包含词嵌入、双向LSTM、全连接和CRF层的模型，并使用Adam优化器进行训练。在训练过程中，需要传入输入序列、目标序列和序列长度；在预测过程中，只需要传入输入序列和序列长度即可得到预测的标注序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值