跨语言摘要CLS近期论文研究总结(一)

本文综述了多种跨语言摘要技术,如基于事实关系图的生成、深度强化学习模型、噪声注入与自训练,以及针对低资源语言的优化策略。研究者们通过Transformer架构和大语言模型提升摘要质量,强调了注意力机制在跨语翻译和生成过程中的关键作用。
摘要由CSDN通过智能技术生成

1. A Cross-Lingual Summarization method based on cross-lingual Fact-relationship Graph Generation

基于跨语言事实关系图生成的跨语言摘要方法学习
首先,从源语言文档和目标语言参考摘要中提取事实三重信息,并构建其事实关系图。
然后,通过将源语言事实关系图映射到目标语言事实关系图,显式地关联文档和摘要中的关键事实信息。

2. A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards

基于双语语义相似度奖励的零概率跨语言摘要深度强化模型
训练一个端到端XLS模型,通过将预测的语义与源语言摘要的语义相匹配,直接生成给定源文章的目标语言摘要。为了实现这一点,使用了强化学习(RL),并将其作为奖励。
code:基于ncls改的

3.A Good Sample is Hard to Find: Noise Injection Sampling and Self-Training for Neural Language Generation Models

很难找到好的样例:神经语言生成模型的噪声注入采样和自训练(有代码)
探索使用更简单的DNN进行自我训练,训练了一个简单的单向神经编码器-解码器,并将注意力作为基本模型。
code

4.A Robust Abstractive System for Cross-Lingual Summarization

跨语言摘要的鲁棒抽象系统
通过开发神经抽象摘要系统来解决这一问题,该系统通过生成简短的短语来替换由于难以翻译的源文档而导致的尴尬输入短语,从而流利地总结潜在的不流畅的自动翻译文档。

提出了一种为低资源语言(目前没有摘要语料库)生产跨语言摘要系统的方法

5.A Transformer-Based Variational Autoencoder for Sentence Generation

基于transfoer的句子生成变分自编码器
提出了一种用于自然文本生成的变分自编码器。提出了一种新的基于transformer的架构,并使用LSTM语言模型层增强解码器,以充分利用潜在变量的信息。

6.A two-stage fine-tuning method for low-resource cross-lingual summarization

低资源跨语言摘要的两阶段微调方法
提出了一种低资源跨语言摘要(TFLCLS)两阶段微调方法。第一阶段,通过识别mptm中对低资源语言语义对齐的不足,采用语义对齐微调方法增强mptm对低资源语言的理解。在第二阶段,考虑到mptm原本不是为信息压缩量身定制的,而CLS要求模型同时对齐和压缩,引入了自适应联合微调方法。

重点提高mPTMs的语义对齐和信息压缩能力,以提高其在低资源场景下的CLS能力。
构建了一个越南-中国CLS数据集,称为Vi2ZhLow。
code

7.Acquiring Knowledge from Pre-Trained Model to Neural Machine Translation

从预训练模型获取知识到神经机器翻译
该方法包括两个模块:
1)动态融合机制,将通用知识中的特定任务特征融合到NMT网络中;
2)知识提炼化范式,在NMT训练过程中持续学习语言知识。
来自预训练模型的上下文知识自然可以成为NMT的一个很好的补充。

8.ACROSS: An Alignment-based Framework for Low-Resource Many-to-One Cross-Lingual Summarization

across:基于一致性的低资源多对一跨语言摘要框架
对齐所有这些语言以获得深度跨语言语义知识,这对于精炼跨语言材料以生成高质量摘要至关重要。
我们通过对比和一致性学习最小化跨语言和单语言表征之间的差异。

9.An Empirical Study of Korean Cross-Lingual Summarization based on Large Langauge Models

基于大语言模型的韩语跨语言摘要实证研究
本文深入研究了从英文文章中生成韩语摘要的特定领域,利用LLMs的潜力来促进跨语言摘要。
除了对提示的探索之外,本研究还仔细检查了在摘要生成过程中复杂的各种策略和超参数。通过对这些因素之间相互作用的深入分析,本研究有助于全面了解不同策略如何影响生成的韩语摘要的质量和流畅性.

10.An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics

长文件摘要的实证调查:数据集、模型和度量
提供了对长文件摘要研究的全面概述,并在其研究设置的三个主要组成部分:基准数据集、摘要模型和评估指标进行了系统评估。

11.Abstractive Sentence Summarization with Attentive Recurrent Neural Networks

基于关注递归神经网络的抽象句子总结
引入了一个条件递归神经网络(RNN)来生成输入句子的摘要。该条件由一种新颖的基于卷积注意的编码器提供,该编码器确保解码器在生成的每一步都聚焦于适当的输入词。我们的模型仅依赖于已学习的特征,并且很容易在大型数据集上以端到端方式进行训练。
根据RNN的当前状态,编码器计算输入句子中单词的分数。这些分数可以解释为输入文本的软对齐,通知解码器应该关注输入句子的哪一部分来生成下一个单词。
编码器显式地编码输入单词的位置信息,并使用卷积网络对输入单词进行编码。
code

12.Attend, Translate and Summarize: An Efficient Method for Neural Cross-Lingual Summarization

听、译、总结:一种有效的神经跨语总结方法
受翻译模式的启发,我们可以先关注输入序列中的一些特定片段,然后将其翻译成目标语言,并将这些双语信息整合到最终的摘要中。

我们首先使用编码器-解码器注意力分布来帮助确定应该翻译哪个源词。然后提出了三种策略,即Naive、Equal和Adapt,来从概率双语词典中获得翻译概率。可以根据编码器-解码器的注意力分布和翻译概率获得翻译分布。接下来,我们添加一个额外的翻译层来计算翻译概率。最终的分布是翻译分布和神经分布的加权和(由翻译概率加权)。

code

  • 18
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值