Dependency-based syntax-aware word representations阅读笔记

最新推荐文章于 2022-02-15 13:32:28 发布
最新推荐文章于 2022-02-15 13:32:28 发布
阅读量309 收藏
点赞数
分类专栏： 文献阅读之家
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jokerxsy/article/details/114551688
版权

[标题]

Dependency-based syntax-aware word representations
它的父亲:Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word

[代码地址]

https://github.com/zhangmeishan/DepSAWR

[知识储备]

什么是异质性(heterogeneity):
什么是同质性(homogeneous):
dependency trees与constituent trees的转化:
什么是BIAFFINE DEPENDENCY PARSING: https://arxiv.org/pdf/1611.01734.pdf
什么是LAS:
什么是bootstrap resampling:

[一些问题]

Tree-RNN and Tree-Linearization approaches是什么?

目录

一、背景与概览

1.0 引言

聚合了丰富的依赖语法，而不是使用单一的解析树输出(利用了一个训练好的解析器的中间影藏层)
把上面得到的输出和常规的词向量做concatenate

1.1 相关研究

The importance of Syntactic information:
依赖语法能够缩短单词序列内部，单词和单词之间的距离，就比如下图中，future和boomers的距离从6，经过lot这个单词，变成了2.
在这里插入图片描述
统计学习方法:（这完全不懂）
在这里插入图片描述
神经网络方法:

  • Tree-RNN:尽管这些方法是有效的，但由于依赖树的异质性，这些方法存在严重的效率低下问题（异构的树不能同batch）。
    在这里插入图片描述
  • Tree-Linearization:这些方法首先将分层树输入线性化为顺序符号，同构的同时，也保留了语法信息。
    在这里插入图片描述
    上述神经网络的缺点是:使用parser建模了唯一一颗最好的解析树，给下游任务带去误差.

1.2 贡献点

提出以下模型:直接把Input送入Encoder(这该怎么送…)，输出的向量经过归一化?简单的后处理?，然后和word embedding进行拼接? 进一步送入Decoder，预测同时，语法标签应该也要被送入Decoder(毕竟是标注好的数据，为何不用?)，然后干什么就不知道了.在这里插入图片描述
sentence classification task : BiLSTM+dependency syntax+ELMo or BERT representations
sentence matching task : ESIM+dependency syntax+ELMo or BERT representations
equence labeling task ：BiLSTM-CRF+dependency syntax+ELMo or BERT representations
machine translation task : RNN-Search(?) / Transformer
复现了Tree-RNN和Tree-Linearization用于比较

1.3 相关工作

1.3.1 Tree-RNN

与Tree-RNN的不同点:

  • 采用dependency trees而不是constituent trees
  • 使用 non-leaf compositions
  • 定义聚合操作，支持任意数量的子节点的递归组合

需要注意的是:

  • x_i是 a concatenation of word embedding and dependency label embedding（这里的dependency labeling是什么?）
  • {L,R}意味着什么?
  • 输出是h↑和h↓的concatenation

在这里插入图片描述
在这里插入图片描述

Tree-RNN的缺点是由于依赖树的异质性，批处理困难.

1.3.2 Tree linearization

进行以下两步操作:

  • 维护已处理栈和未处理队列，最后合并相应的shift-reduce操作,得到symbols序列
  • 将序列送入序列LSTM

流程如下:从This开始，通过SH action把单词加入Stack，如果遇到一个单词，它有自己的左子树，则从右往左，依次执行RL，来建立单词和单词之间的连边(左子树的head会被reduce)，遍历到最后一个单词之后，开始往回走，找到有自己的右子树的单词，依次(从左往右?)执行RR(右子树的head会被reduce)，最后加入PR.
在这里插入图片描述
关于embedding:

  • SH
    • 使用word embedding的，保持不变
    • 使用contextualized embedding(ELMo and BERT)的，使用关联词的embedding（first subword?）
  • 其它符号有自己的向量表示

啊，模型的公式化描述如下，序列被送入上层网络。
在这里插入图片描述

二、模型

2.1 BiAffine dependency parser

在这里插入图片描述

  • 3个BILSTM
  • 2个MLP(for head & child)
  • BiAffine是否也是一个MLP有待考证，head和label是如何计算损失？

2.2 Dep-SAWR

在这里插入图片描述
过程:

  • 虚线部分没有training object，当然也可以选择finetune
  • 和BERT等一样，Encoder-Decoder是一个预训练好的网络(embedding+3bilstm+2mlp+?)
  • 每一层的隐层输出都包含了不同的上下文信息(更偏重语法信息?)，本文做了融合:在这里插入图片描述
  • 得到的 o D e p − S A W R A o^{Dep-SAWRA} oDep−SAWRA与原来的embedding做concatenation，再送入上层网络

特点:

  • extendable to other structural knowledge of language体现在哪儿？
  • 与Tree-RNN和Tree-Linearization不同，前者直接编码语法树；后者隐式地蕴含语法树，所以错误传播更少。

三、实验与评估

3.1 任务一:Sentence classification

word embedding+bilstm+pooling，其中，词嵌入部分尝试了glove、bert和elmo

3.2 任务二:Sentence matching

以ESIM模型为例:
在这里插入图片描述

3.3 任务三:sequence labeling

以BILSTM+CRF为例
在这里插入图片描述

3.4 任务四:machine translation

RNN-search \ Transformer
在这里插入图片描述
只在Seq2Seq的左侧aggregate syntax information

四、 实验细节

五、实验结果

5.1 句子分类

  • 融入了语法信息效果更好、各种语言上都有提升
  • 三种语法模型中，DepSAWR效果最好
  • DepSAWR更加得高效，因为:
    • requiring no full parsing
    • conveniently batching
  • 其它模型都利用了联合任务的外部信息
  • 还做了Syntax probing(语法探索)
    • Bigram Shift:识别句子中的词是否有颠倒
    • Tree Depth:预测句子所构成的树(dependency? constituency?)中，root距离非root的最长距离
    • Top Constituent:预测句子所构成的成分分析树中，S下面的成分类别
    • 结果如下，BERT已经包含了丰富的语法信息
      在这里插入图片描述

5.2 句子对分类

好

5.3 序列标注

  • 对于SRL任务，在基准系统中采用了dependency-based scheme(?)，增加了谓词位置编码predicate position embedding(?)
  • 特别的，BERT的结果不是很好，而且加入了语法信息的提升也不是很大，说明了BERT中可能包含了重叠的语法信息

5.4 机器翻译

  • 为了降低翻译的难度，减小词表大小，采用BPE(32000次合并)，这也带来了不一致性(embedding怎么办):
    • Dep-SAWRS对所有子词都重复它所属的词
    • Tree-RNN将非尾部的子词指向尾部的词
    • Tree-Linearization不需要改变
  • 英语-越南语比中文-英语的提升小，原因可能是作为source language的英语，其语法规则更加严格
  • 一般而言，预训练的模型用于下游任务时，如果下游任务的训练集规模较大，性能的提升会略小(语义的作用被削弱)

六、分析

不同的使用模式:

  • finetune会变差，会使得提供语法信息的预训练网络的作用与其它网络相重合。也反过来说明了语法的重要…
  • 使用单层会变差

不同的句子长度:

  • 对于很短的句子，依存语法会被限制
  • 实验结果表明，随着句子长度的增大，三种语法增强模型的性能下降(?)，但下降速度远远不如baseline(√)

不同的parsing训练集大小:

  • 一般来说，训练集越小，parser效果越差，下游任务效果也越差
  • 但也有特例，parser效果越差，不确定性也越高，下游反而可能会有上升

六、拓展

Muasci
关注
专栏目录
GNN4NLP-Papers
SimonChen
07-13 1393
GNN4NLP-Papers A list of recent papers about GNN methods applied in NLP areas. Taxonomy Fundamental NLP Tasks Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks. Shikhar Vashishth, Manik Bhandari, Prate
随笔-关系抽取（三） — Dependency-based Models
eyeshere的博客
01-18 610
关系抽取（三） — Dependency-based ModelsImproved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation现状模型Bidirectional Recurrent Convolutional Neural Network for Relation Classifi...
基于依赖性的词嵌入（Dependency-based word embedding）［Part I］
From CS to Mathematics...
04-24 2082
尽管目前连续向量的词嵌入技术逐渐变得热门，然而已有的模型都是只是单单基于线性的上下文环境（context）。本文工作推广了采用 negative-sampling 技术的 skip-gram 模型（由 Mikolov 等人提出）到任意的上下文环境场景。
斯坦福大学-自然语言处理入门 笔记 第十六课 依存句法分析（Dependency Parsing）
苏三慎的博客
10-25 1万+
一、介绍 1、依存句法 依存句法假设：句法结构包含相互之间是双边不对称关系的词典（lexical）元素，这种不对称的关系成为依存（dependency），在图中的表现是单向箭头。 箭头通常还会打上这种语法关系的名字（主语，前置宾语等等） 箭头一边连接中心词head (governor, superior, regent)，一边则连接依存词dependent (modifier, inferior...
《Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations》论文笔记
qq_42890800的博客
03-27 398
文章目录试图解决的问题方法介绍BaselineEncoderDecoder 试图解决的问题 语法可以用于加强神经机器翻译的性能，比如2017年的工作集成了语法树到Seq2Seq神经机器翻译模型中。但是由于不同语法树的不均匀性，增加了批运算的困难，进而导致速度降低，即使专门设计了批算法，效果还是不尽如人意。Tree-Linearization方法试图解决这个问题，主要的思想是把语法树线性化成序列符号，然后利用结果序列作为NMT的输入。 这篇文章也是来解决这个问题的，在使用语法信息的同时，保证模型的效率。作者提
必读：ICLR 2020 的50篇推荐阅读论文
AI科技大本营
10-30 1万+
来源 |香侬科技本文整理了ICLR2020的相关论文，此次分享的是从Openreview中选取的部分论文，共50篇，其中大部分为NLP相关。文中涉及的相关论文推荐指数与推荐理由仅为个人观点，利益无关，亦不代表香侬科技立场。希望大家可以从中获得启发。推荐指数4.0论文论文1Reducing Transformer Depth on Demand with Structured Dropoutht...
神经机器翻译中语言学知识的引入
自然语言处理大菜鸟--HsingWang
02-22 3146
准备在组内做一个关于神经机器翻译中语言学知识的加入（syntax + NMT）的报告，先把相关文章进行罗列下：   1. Linguistic Input Features Improve Neural Machine Translation  (WMT2016) http://www.statmt.org/wmt16/pdf/W16-2209.pdf 2.  Tree-to-
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 2996
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5397
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification
weixin_44691087的博客
06-04 819
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification 问题：在aspect级别的情感分类任务上，整合如句法解析树的语法结构到GNN中被证明是有效的，但是这些方法通常容易出现解析错误。 方法：在面对不可避免的解析错误时，为了更好的利用语法信息，该论文提出了一个简单但有效的图集成技术–图合并，来充分利用不同解析树的预测信息。 Ps:该论文不是为每个依赖树赋予一组模型参数，
Dependency-Based Word Embeddings（基于依存的词向量）
11-17 487
最近要开始读论文了，其实自己读论文的能力挺不怎么样的，并且读过就忘记，这实在是让人很不爽的事情。自己分析记不住的原因可以有以下几点： 读论文时理解就不深刻，有时候就是一知半解的 读完之后没有总结，即没有自己概括这篇论文的过程，所以文中一知半解的过程还是忽略了，并且以后再回顾的时候，这篇论文对自己来说就像新的论文一样，还是一样懵。 所以，我决定对读的每一篇论文都做一个总结，并发表在博客...
[阅读笔记]Dependency-Based Word Embeddings(基于依存的词向量) _Omer Levy and Yoav Goldberg
Atmanlee的博客
05-16 2260
[阅读笔记]Dependency-Based Word Embeddings(基于依存的词向量) _Omer Levy and Yoav Goldberg 文章目录[阅读笔记]Dependency-Based Word Embeddings(基于依存的词向量) _Omer Levy and Yoav Goldberg一、背景知识1. 什么是Word Embeddings定义解释引入1. What are Word Embeddings?2. Different types of Word Embeddin
话题分割模型综述，看这一篇就够了(TBC)
jokerxsy的博客
01-26 4934
前言 本文总结了十多篇话题分割领域的论文的主要方法，并最后总结归纳了所有数据集、模型性能。 《Text Segmentation as a Supervised Learning Task》 原码解读：https://blog.csdn.net/jokerxsy/article/details/109237492 github链接： https://github.com/koomri/text-segmentation 数据集链接： https://www.dropbox.com/sh/k3jh0fjby
[文献阅读]—一篇不错的低资源机器翻译综述(Neural Machine Translation for Low-Resource Languages: A Survey)
jokerxsy的博客
12-06 3402
前言 论文地址：https://arxiv.org/abs/2106.15115v1 时间线 1947：Warren Weaver提出了机器翻译的可能性 1954：IBM发明了word-for-word翻译系统 技术 数据增强（data augmentation） 主要包含：1. 基于单词和短语替换产生伪平行语料的方法；2. 基于回译产生伪平行语料的方法；3. 基于多语言预训练模型挖掘平行语料的方法 基于单词、短语替换的数据增强（坑1） 利用双语词典，替换选定句子的所有单词或稀有词，产生对应翻译[119]
[文献阅读]——ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for NLU(TBC)
jokerxsy的博客
05-11 2575
引言 BERT的缺点: BERT的MLM关注细粒度文本单元的表示（word\subword\characters），而很少考虑粗粒度的语言学上的信息（命名实体\短语\中文的单词） 前人进一步的工作: 独立地掩膜、预测连续的n-grams（命名实体、短语、text spans） 本文的观点: 前人关于n-grams的工作忽略了n-grams内部的依赖 特别的，给定一个被掩膜的n-grams w={x1,x2,...xnx_1,x_2,...x_nx1​,x2​,...xn​},x∈VFx∈V_Fx∈
《Text Segmentation as a Supervised Learning Task》原码解读
jokerxsy的博客
10-23 2470
文章目录项目地址实操配置环境数据运行原码解读建立datasetinitgetitemlen建立dataloadercollate_fn模型的建立模型的计算流程明确输入extendsentence paddingsentence encoderdocument paddingdocument encoder输出总结接下去的工作 项目地址 Text Segmentation as a Supervised Learning Task 实操 这里介绍如何跑它的原码。 配置环境 python2.7 conda
TextTiling: Segmenting Text into Multi-paragraph Subtopic Passages阅读笔记
jokerxsy的博客
12-20 2233
#一个"#"号后面不敢打空格的开头: 论文地址:TextTiling: Segmenting Text into Multi-paragraph Subtopic Passages 大佬的作品需要被膜拜，所以本文目录就是原文的目录，每个目录下，总结了原文的内容。内容大体上是英文论文的翻译，但并不过分追求翻译的准确，而是想要探究行文的思路。所以，每个目录下，一段翻译，一段笔记；一段翻译，一段笔记… 本文的最后才是我自己的总结。 文章目录0. abstract1. Introduction2. Why Mult
maven-dependency-tree-parser
最新发布
08-16
maven-dependency-tree-parser是一个用于解析Maven项目依赖树的工具。在Maven项目中，依赖树是指所有依赖关系的集合，包括直接依赖和间接依赖。 maven-dependency-tree-parser可以通过以下几种方式被使用： 1. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值