lattice，flat

已于 2023-03-08 16:04:25 修改
阅读量621 收藏
点赞数
分类专栏： python学习 文章标签： 深度学习
于 2023-03-06 17:42:05 首次发布
好
本文链接：https://blog.csdn.net/dfhg54/article/details/129363542
版权

Chinese NER Using Lattice LSTM 阅读笔记_Ono_online的博客-CSDN博客

【NER-1】-2018 ACL Lattice-LSTM_latticelstm代码_应有光的博客-CSDN博客

 lattice model(结合上面两个博客来看)

18分钟彻底搞懂LSTM网络原理,NLP,深度学习,自然语言处理_哔哩哔哩_bilibili

如何从RNN起步，一步一步通俗理解LSTM_rnn lstm_v_JULY_v的博客-CSDN博客

与原版lstm作对比，理解网络的记忆这个概念

1.

 代表词向量表，从中查阅字对应的词向量，然后输入BILSTM

词粒度模型的相关改进主要在于将词内的字信息整合到词表示中，即

 标黑的那句话：以论文中例子为例，“南京市长江大桥”，桥为一个字，大桥和长江大桥分别通过命中词信息传递得到词的表示，然后存到桥的信息中，词汇信息融入该词汇的最后一个字符中，如下图。

这里的融入应该是字向量和所有词向量矩阵的拼接，形式，组合成一个向量，其中两个\partial参数是当前字信息和词信息拼接后计算得到的词输入门因子和单字LSTM中计算得到的字输入门因子进行softmax归一化得来的

 

 h是最后的隐藏层输出，c是最终的记忆状态

2.FLAT

中文实体识别SOTA模型Flat-Lattice Transformer效果复现及原理分析 - 知乎

Transformer-XL全解读_transformerxl_爱编程真是太好了的博客-CSDN博客

FLAT：Chinese NER Using Flat-Lattice Transformer_AItth的博客-CSDN博客

NLP项目实践——中文序列标注Flat Lattice代码解读、运行与使用_yangjie_word_char_mix.txt_常鸿宇的博客-CSDN博客

注意点：1.flat-lattice是对跨度之间相对编码，span是字符和词汇的总称，span之间存在三种关系：交叉、包含、分离，然而作者没有直接编码这些位置关系，而是将其表示为一个稠密向量。作者用head[i]和tail[i]表示span的头尾位置坐标，并从四个不同的角度来计算xi和xj的距离

例：南京市长江大桥   市长 江大桥  和长江大桥就是交叉的关系

 NER(命名实体识别)之FLAT详解 - 知乎

青椒鸡汤
关注
专栏目录
论文笔记 | FLAT: Chinese NER Using Flat-Lattice Transformer
u011150266的博客
05-06 1188
作者：刘锁阵 单位：燕山大学 论文地址：https://arxiv.org/pdf/2004.11795.pdf 代码地址：https://github.com/LeeSureman/Flat-Lattice-Transformer 文章目录背景介绍模型设计将格子转换为平坦结构对于区间的相关位置编码实验结果 Character-word lattice结构对于解决中文NER问题是有效的，然而由于格子结构是复杂的和动态的，大多数现在的基于格子的模型很难完全利用GPU的并行计算能力，并且通常有着比较低的推断速度
论文阅读（中文命名实体识别）FLAT: Chinese NER Using Flat-Lattice Transformer
hongguoya的博客
08-11 953
系列文章目录 提示：这是第一篇，以后再添加 FLAT: Chinese NER Using Flat-Lattice Transformer系列文章目录前言一、基础概念二、 前言 本论文相关工作被ACL2020会议接收。 近年来，将词典信息加入模型被证明对中文命名实体识别任务很有效。但是结合词典的方法通常会使输入变为一个动态的结构，模型需要在运行时动态改别结构来表征输入，导致无法有效利用GPU的并行计算，运行速度缓慢。因此提出了FLAT模型，在Transformer的基础上，采用一个特殊的位
Flat-Lattice-Transformer:ACL 2020纸代码
03-19
平面变压器 ACL 2020论文的代码：FLAT：使用平格变压器的中文NER。 模型和结果可在我们的ACL 2020文件找到。 要求： Python: 3.7.3 PyTorch: 1.2.0 FastNLP: 0.5.0 Numpy: 1.16.4 您可以在了解有关FastNLP的更多信息。 如何运行代码？ 下载字符嵌入和单词嵌入。 字符和Bigram嵌入（gigaword_chn.all.a2b。{'uni'或'bi'}。ite50.vec）： 或 词（格）嵌入： yj，（ctb.50d.vec）： 或 ls，（sgns.merge.word.bz2）： 修改paths.py以添加预训练的嵌入和数据集 运行以下命令 python preprocess.py (add '--clip_msra' if you need to train FLAT on MSRA NER datase
FLAT：Flat-LAttice Transformer
jzwei023的博客
02-19 836
中文NLP，char-level和word-level如何有效结合？
Flat-Lattice 源码 在AutoDL上的环境配置过程
m0_56651458的博客
11-05 944
记录了一下第一次在auto DL 上环境配置的过程，记录了一下源码需要微微调整的地方
NLP项目实践——中文序列标注Flat Lattice代码解读、运行与使用
热门推荐
weixin_44826203的博客
03-10 1万+
中文序列标注Flat Lattice代码解读与使用1. 原文与项目地址1.1 原文1.2 项目2. 环境搭配3. 总体结构与文件4. 参数介绍4.1 数据加载参数：4.2 bert相关参数（V1）：4.3 模型参数：4.4 训练参数5. 模型与细节6. 模型保存、加载与预测 好久没有更新了，有好几个NLP的实践项目一直没有整理，以后会尽量加大更新频率，给大家带来更多的深度学习应用方面的分享。 关于之前几篇博客的评论和私信，一般我都会回复，如果没有回的话可能是我也不懂的，或者当时回不了的，后来又忘记了。我目前
FLAT（Flat-Lattice-Transformer）代码实现
liguo_yao的博客
10-12 3840
python flat_main.py --dataset <dataset_name> (ontonotes, msra, weibo or resume) -bash: 未预期的符号 `newline’ 附近有语法错误 python flat_main.py --dataset ontonotes
Multiple super-resolution imaging in the second band of gradient lattice spacing photonic crystal flat lens
02-21
Based on the triangular lattice two-dimensional photonic crystal (PC), the lattice spacing along the transverse direction to propagation is altered, and a gradient PC (GPC) flat lens is designed....
flat: chinese ner using flat-lattice transformer
04-06
这是一个关于中文命名实体识别（NER）技术的主题，使用了平面栅格变压器（Flat-Lattice Transformer）方法。该方法是一种基于神经网络的自然语言处理技术，尤其适用于处理中文这种拥有复杂语法和语义的语言。通过...
NER中的词汇增强方法(LatticeLSTM、CGN、FLAT、Simple-Lexicon)
CycloneKid的博客
08-03 7397
文章目录NER中的词汇增强方法Dynamic ArchitectureLatticeLSTMMGLatticeLSTMLR-CNNCGNFLATAdaptive EmbeddingSimple-Lexicon NER中的词汇增强方法 虽然基于字符的NER系统通常好于基于词汇（经过分词）的方法，但基于字符的NER没有利用词汇信息，而词汇边界对于实体边界通常起着至关重要的作用。 如何在基于字符的NER系统中引入词汇信息，是近年来NER的一个研究重点。这种在NER任务中引入词汇的方法又被称为词汇增强。从另一个角度
论文阅读《FLAT：Chinese NER Using Flat-Lattice Transformer》
说文科技，做有态度的研究。
10-19 6680
《FLAT: Chinese NER Using Flat-Lattice Transformer》阅读笔记。
【学习笔记】中文NER词汇增强方法总结 (从Lattice LSTM到FLAT)
mumu_77zhl的博客
10-26 1499
1.对于中文NER，什么是「词汇增强」？ 虽然基于字符的NER系统通常好于基于词汇（经过分词）的方法，但基于字符的NER没有利用词汇信息，而词汇边界对于实体边界通常起着至关重要的作用。 如何在基于字符的NER系统中引入词汇信息，是近年来NER的一个研究重点。本文将这种引入词汇的方法称之为「词汇增强」，以表达引入词汇信息可以增强NER性能。 从另一个角度看，由于NER标注数据资源的稀缺，BERT等预训练语言模型在一些NER任务上表现不佳。特别是在一些中文NER任务上，词汇增强的方法会好于或逼近BERT的性能。
Flat-Lattice-Transformer模型源码测试
小乖的崽崽的地盘
12-02 4927
Flat-Lattice-Transformer模型github源码测试
Flat-Lattice-Transformer项目经验教训
s1162276945的博客
03-16 1174
1、没有仔细核对项目的运行环境(requirement)部分 比如没有选对 FastNLP的版本，直接pip install 会安装0.6.0版的FastNLP，导致后面运行项目时频繁报错。 例如： ImportError: cannot import name '_get_file_name_base_on_postfix' from 'fastNLP.modules.utils' 2、windows系统下文件名不可带冒号 否则生成cache文件时会出现异常 3、文件路径 可通过 pwd 命令在终端查
FLAT：中文NER屠榜之作
夕小瑶科技说
09-07 6881
文 |JayLou娄杰编 | YY近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Usi...
Lattice-BERT 论文阅读
fengshanghere的博客
06-07 1993
Motivation 对于中文，字级别的信息不够，比如“老板”不是
FLAT：使用Transformer引入词汇信息增强中文NER（Chinese NER Using Flat-Lattice Transformer）
十里清风
01-06 2602
文章目录1 引言2 背景3 模型3.1 转换格子为扁平结构3.2 范围的相对位置编码4 实验4.1 实验设置4.2 整体性能4.3 全连接结构的优势4.4 FLAT效率4.5 FLAT的提升4.6 BERT兼容性 【论文链接】：FLAT: Chinese NER Using Flat-Lattice Transformer 近年来，已证明引入词汇信息的字词格子结构能够有效提升中文NER任务，然而，格子结构复杂、多变，多数现有的基于格子结构的模型难以利用多GPU并行计算，并且推理速度较慢。 本文提出FLAT
基于深度学习的不遗忘训练
最新发布
weixin_42605076的博客
10-02 362
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
深度学习：DCGAN
Landy_Jay的博客
10-01 328
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
flat-lattice-transformer
06-28
### 回答1： 平面格变换器（Flat Lattice Transformer）是一种用于自然语言处理的神经网络模型，它是基于Transformer模型的改进版本。与传统的Transformer模型不同，平面格变换器使用平面格结构来表示输入和输出序列，这种结构可以更好地捕捉序列中的局部依赖关系。平面格变换器在机器翻译、文本分类、问答系统等任务中取得了很好的效果。 ### 回答2： Flat-lattice-transformer 是一种新型的序列建模技术，它是基于已有的transformer模型而进行改良升级所得到的。Flat-lattice-transformer在序列任务中具有极强的建模能力，在各种语言模型、机器翻译、文本分类等自然语言处理任务中表现优异。 Flat-lattice-transformer的主要思想是将传统的句子表示构建转换成一种扁平化的结构，从而解决了原来transformer模型中无法处理较长句子的问题。Flat-lattice-transformer将输入序列转换成一个图，将每个单词作为结点，并根据它们之间的依赖关系建立边，得到一个扁平的表示。这样做的好处是可以在不损失重要信息的前提下，缩小模型的空间复杂度，使其能够处理更长的序列。 构建这样一个扁平的图结构需要进行一系列的预处理和转换，其中最重要的是将输入的序列转换成一个有限状态自动机（Finite State Machine，FSM），然后将该自动状态转换成一个有向图。在构建图结构之后，Flat-lattice-transformer还会对其进行一定的拓扑排序和优化，以便在后续处理中更加高效地搜索图的信息。 最终的输出是一个矩阵，其中每个元素代表了一个状态下输出的结果概率，然后根据这个矩阵来计算输入序列的概率。 Flat-lattice-transformer在一些自然语言处理任务中已经取得了优异的成果，而且其对于长句建模和处理的能力更为突出，成为了自然语言处理领域中一个备受关注的技术。 ### 回答3： Flat-lattice-transformer是指一种基于transformer模型的语音识别系统。它是由研究人员提出的一种新型语音识别架构，用于解决传统语音识别系统中困扰人们已久的问题。 传统的语音识别系统通常采用深度神经网络（DNN）或循环神经网络（RNN）进行声学建模。这些模型通常使用帧级别的信息来预测每个音素的输出结果。然而，由于音素之间存在连续性和上下文依赖性，这种方法往往会导致误识别率较高。 Flat-lattice-transformer采用transformer作为声学建模器，从而利用transformer的自注意力机制学习多级别上下文信息，并能够直接预测音素序列，而无需使用基于帧的分类器。另外，该模型引入统一的flat lattice生成机制，将声学特征和语言学知识进行融合，使得模型具备更好的能力来解决上下文依赖性和连续性的问题，从而实现了更高的识别精度。 Flat-lattice-transformer还具有许多其他优点。例如，与传统的基于标注的端到端语音识别系统相比，它不需要任何语言标注信息，因此可以避免标注数据的稀缺性和昂贵的标注成本。此外，该系统还可以在训练数据较少的情况下实现较高的识别性能，这为许多实际应用提供了便利和可能性。 总的来说，Flat-lattice-transformer是一种比传统语音识别系统更优秀的语音识别架构。它的出现为语音识别领域带来了新的思路和技术，同时也为我们提供了更多解决语音识别问题的可能性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值