Chinese NER Using Lattice LSTM

最新推荐文章于 2022-10-12 20:38:18 发布
最新推荐文章于 2022-10-12 20:38:18 发布
阅读量602 收藏 1
点赞数
分类专栏： 【论文】中文NLP
原文链接：https://blog.csdn.net/jiangzhenkang/article/details/84924210#Chinese_NER_Using_Lattice_LSTM_1
版权

一个更加详细的版本：https://blog.csdn.net/Amy_mm/article/details/81975827

文章目录

目录

Chinese NER Using Lattice LSTM

论文和代码链接

文章主旨

简介

论文模型

一、基于字符的模型

二、基于词的模型

三、Lattice模型

CRF

吹逼时刻（实验效果）

Chinese NER Using Lattice LSTM

论文和代码链接

文章主旨

  • 本文提出了一种新的NER模型，利用到了语言序列中所有的单个字符和词库中的所有的分词结果。

简介

  • 英文的NER效果最好的模型来自于LSTM-CRF模型。

  • 中文的NER结果依赖于中文分词结果，因为NER的边界就是中文分词的边界。有一个中文NER的办法就是先分词，然后进行NER，但是这样的话，分词的错误会传递到NER的结果。这在开放领域会更加严重，因为跨域分词依然会比较困难。有人研究过基于字符的中文NER方法会比基于分词结果的要好。

  • 但是基于字符的中文NER方法又失去了部分词序列提供的信息，为了解决这个问题，这篇论文提出了将所有可能分词信息和字符信息混在一起做NER的方法如：figure 1

image_1cu5qjdpt1jmoono13rn146916i39.png-97.9kB

  • 在图中，我们可以利用长江大桥、长江、大桥来对有可能识别到的人名“江大桥”进行消歧

  • 如下图所示，Lattice-LSTM可以将所有的字符信息和分词信息涵盖，然后模型会从上下文自动的找到有用的词汇。

image_1cu5r00dv1re1k9f1vcqs7f9jn3m.png-148.6kB

论文模型

  • 本文到的主题结构采用的是LSTM-CRF.
  • 一个完整的句子s，s可以表示成s = c1,c2,c3,…,cm,这里c表示句子中的每一个字符
  • s也可以表示成s = w1,w2,w3,…,wn,这里的w表示句子的每一个分词结果
  • t(i,k)表示第i个分词结果的第k个字符，如：“南京市 长江大桥”中有两个分词结果，南京市和长江大桥，其中对该句话，t(1,2)表示第一个分词的第二个词，也就是南京市中的“市”这个字。注意这里不是作为第一个字符的，是1作为第一个字符。
  • 标注方法用的传统的BIOES方法

一、基于字符的模型

  • 首先做一个基于字符的模型，如下如所示，简而言之，下图就是一个LSTM模型，x_{1}^{c}这里指的是第一个字符的词向量化形式，c_{1}^{c}指的就是LSTM中的门结构，h_{1}^{c}代表的就是LSTM中的输出。
  • 注意，本文采用的是双向LSTM,image_1cu5sibccr471mci1j851cg11umk4g.png-9.3kB，所以向量会有一个拼接的过程。就是每一个字符正向LSTM的结果和反向LSTM的结果拼接起来。
  • 最后的到的结果用来做序列标注。模型使用的是CRF模型。

image_1cu5u4f691vdv18u91okq1rd814nl5d.png-15.7kB

基于字符的gram模型

  • 这里和上面没什么区别，就是在算每个字的向量的时候，加入了这个字和其后面一个字作为词的词向量。
    如：算“南”这个字的向量的时候，会把“南”的词向量和“南京”的词向量一起拼接起来作为“南这个字的输入”，具体论文：https://pan.baidu.com/s/18sImkW9YPgbL1_j4YMWZww

基于字符和分词结果模型

  • 与上面类似，只不过是没有机械的用到下一个字符，而是用到了以这个字符开头的分词结果。不多介绍

上面说到的模型最后都会使用CRF模型来做序列标注。

二、基于词的模型

基于词的模型，就是把字换成了词，如下图所示。x_{1}^{w}代表的是每个词的词向量。

image_1cu5u58vl4891n3a1v58q1sbh5q.png-16.4kB

后续还介绍了很多模型~ 暂时不一一介绍

三、Lattice模型

终于到了我们的主角

image_1cu5upqe41embd5m17cnleg1qlq67.png-18.6kB

下面解释一下这幅图：

image_1cu8gnffidia1tbh1cfa1u3v1tvh9.png-8kB

大家看上图，我们利用这个公式求出中间插入的南京市这个词的c_{b,e}^{w}， 同样的是lstm的门机构，唯一缺少的就是输出门，因为这个结构不需要输出，只需要往后传递参数c就好了~

image_1cu8gs1sm1328jqluouc5m6k1m.png-3kB

看上图，输出之后，我们会求出作为南京市的一个输入门，就是把南京市的c_{b,e}^{w}和下一个字“市”的输入x_{e}^{c}结合起来。

image_1cu8gsb7812frpnghs31ro911fn13.png-3.9kB

看上图，我们利用这个公式计算“市”这个词的细胞更新状态，就是更新c，其实这个很简单，就是这个"市"这个字会有很多的输入，把他们都按照权重加起来就好了。
疑问其实到这里发现，为啥没有遗忘门呢，很奇怪？望高手解答。

CRF

后面就是一套典型的CRF，不再多说。

吹逼时刻（实验效果）

image_1cu8hbusr1jqm1rbl11dt1b7ohqq20.png-27.8kB

image_1cu8hd7ujsbo155rrvvjtnk52d.png-31.3kB

image_1cu8hubmk3gtjr1dlr1rblvnp2q.png-24.3kB

看这里，句子如果不是很长，可以优先考虑基于词的，当然作者的lattice更厉害了

飞翔的大马哈鱼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Chinese NER Using Lattice LSTM笔记
qq_43708647的博客
03-12 250
摘要 使用lstm 编码字符和潜在的lexicon,相比于character-based model ,更能利用单词信息，相比于word-based，更不易遭受分词的错误
Chinese NER Using Lattice LSTM 论文翻译及理解
weixin_37195726的博客
12-02 1986
摘要 我们研究了一个面向中文NER的格子结构的LSTM模型，它编码一系列输入字符，以及所有匹配词典的潜在单词。与基于字符的方法相比，我们的模型显式地利用了单词和单词序列信息。与基于词的方法相比，格LSTM不存在分词错误。门控递归细胞使我们的模型能够从句子中选择最相关的字符和单词，以获得更好的NER结果。在不同数据集上的实验表明，lattice LSTM的性能优于基于字和基于字符的LSTM基线，取得...
论文阅读总结——Chinese NER Using Lattice LSTM
qq_32728345的博客
07-28 8868
论文阅读总结——Chinese NER Using Lattice LSTM 这是本人的第一篇博客，经验尚浅，还望多多指教 博主最近在做中文命名实体识别（以下简称 NER），期间阅读了相关文献，在此对一些文章进行介绍和总结，加深印象，加深理解。 本文讲述今年发表在 ACL 的文章《Chinese NER Using Lattice LSTM》，作者是来自新加坡科技设计大学的 Yue Zh...
NER论文阅读-Chinese NER Using Lattice LSTM（2020ACL）
qq_40104299的博客
01-15 351
Chinese NER Using Lattice LSTM（2020ACL） 摘要 近些年有很多尝试使用词典信息来提高中文命名实体识别的性能的工作。其中一个代表就是Lattice-LSTM，这项工作取得了很多领先的成果在几个公开数据集上。可是，lattice_LSTM有很复杂的模型结构，这个限制了它在很多工业领域——那些需要实时NER回应的地方。 在这个工作中，我们想出了一个简单但是高效的方法将词汇表信息融入到字符表示层中。这个方法避免了设计一个复杂的词序标注结构，而且对于任何的神级网络NER模型，只
论文复现_1：Chinese NER Using Lattice LSTM
Hekena的博客
10-12 621
除了bi-grams之外的信息，还添加了word-segmentation的信息，而单词分区的信息查找是通过look-up table查询的。的时候，是将char和bi-gram做的拼接，而bi-grams的信息是在look-uplabel中找到的。我们通过使用晶格结构的LSTM来表示句子中的词汇，从而将潜在的词汇信息整合到基于特征的LSTM-CRF中。在计算的时候，是在bi-lstm的cell信息计算时，将cell信息做了丰富。在cell的信息计算时，考虑cell的上一个时序信息和当前cell的信息。
论文笔记：Chinese NER Using Lattice LSTM
qq_22472047的博客
10-19 1178
概述： 目前，英文NER：效果最佳的模型是 LSTM-CRF（Lample et al., 2016; Ma and Hovy, 2016; Chiu and Nichols, 2016; Liu et al., 2018）。 中文 NER：也可以使用这种模型，但是中文NER和分词相关，执行中文 NER 的一种直观方式是先执行分词，然后再应用词序列标注。基于character-level的LSTM-CRF无法利用句子中的单词word信息。 charNER的缺点：明确的word和word sequenc
论文复现_2：Chinese NER Using Lattice LSTM
Hekena的博客
10-12 921
返回的是 #train_text返回的是words, biwords, chars, gazs, labels，train_ids返回的是word_Ids, biword_Ids, char_Ids, gaz_Ids, label_Ids。默认的embedding_dim是Word和char的embedding，lstm_input = self.embedding_dim + self.char_hidden_dim。在之后，是将每句话的Word、char和词典使用对应的ID存储。
Chinese NER Using Lattice LSTM【论文笔记】
Chevalier的博客
07-22 647
一、摘要   作者在中文的NER任务上提出了一个新颖的lattice-structured LSTM，编码输入字符序列和所有与词库匹配的潜在词语。与基于字符的方法相比，我们的模型明确地利用了单词和单词序列信息。与基于单词的方法相比，lattice LSTM不会受到分词错误的影响。门控循环神经元允许模型选择最相关的字符和单词，以此得到更好的结果。在各种数据集的实验表明，与基于字符和单词的方法相比，l...
ChineseNER Using LatticeLSTM笔记
SimonChen
05-25 204
https://zhuanlan.zhihu.com/p/42414521
【论文解读系列】NER方向：LatticeLSTM (ACL2018)
ljp1919的专栏
09-02 866
LatticeLSTM 出自于 ACL2018中的Chinese NER Using Lattice LSTM。LSTM-CRF模型在英文命名实体识别任务中具有显著效果，在中文NER任务中，基于字符的NER模型也明显优于基于词。
中文命名实体识别NER：Lattice LSTM
woniu201411的博客
06-16 767
参考文献： <> https://www.paperweekly.site/papers/notes/623
一文详解中文实体识别模型 Lattice LSTM
zenRRan的博客
07-27 1972
每天给你送来NLP技术干货！来自：AI算法小喵写在前面今天要跟大家分享的是西湖大学张岳老师2018年发表在顶会ACL上的一篇中文实体识别论文 Lattice LSTM。论文名称：《Chinese NER Using Lattice LSTM》论文链接：https://arxiv.org/pdf/1805.02023.pdf代码地址：https:// github.com/...
BI-LSTM,BILSTM-CRF,Lattice-LSTM基本原理以及在NER中的应用
橙之之
11-22 5308
BI-LSTM,BILSTM-CRF,Lattice-LSTM基本原理以及在NER中的应用 连大赵露思 喜欢这篇文章可以关注公众号GoAI哟，都是感兴趣的在读研究生共同经营的，目前已收录计算机视觉和NLP的文章多篇 目录： ①BI-LSTM，BILSTM-CRF，Lattice-LSTM的基本原理 ②BI-LSTM，BILSTM-CRF，Lattice-LSTM在NER中的作用 BI-LSTM，BILSTM-CRF，Lattice-LSTM的基本原理 BI-LSTM： LSTM（long-short ter
全网最细：论文《Chinese NER Using Lattice LSTM》 模型详细讲解
weixin_40197226的博客
08-25 2592
论文《Chinese NER Using Lattice LSTM》 模型详细讲解模型介绍LSTM详解Lattice LSTM详解功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 模型介绍 简单来说，lattice LSTM 模型首
flat: chinese ner using flat-lattice transformer
最新发布
04-06
这是一个关于中文命名实体识别（NER）技术的主题，使用了平面栅格变压器（Flat-Lattice Transformer）方法。该方法是一种基于神经网络的自然语言处理技术，尤其适用于处理中文这种拥有复杂语法和语义的语言。通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值