- 博客(61)
- 收藏
- 关注
RSS订阅原创 NLP论文阅读记录 - 2022 | WOS 04.基于 XAI 的强化学习方法，用于社交物联网内容的文本摘要
自动文本摘要技术的目的是压缩给定的文本，同时在摘要中正确地描绘原始文本中的主要信息。另一方面，目前的生成文本摘要方法在构建摘要句子时重构原始语言并引入新单词，这很容易导致不连贯和可读性差。）这项研究提出了一种基于 XAI（可解释人工智能）的强化学习，使用强化学习对基于社交物联网的内容进行文本摘要。此外，基于标记数据来提高摘要句子连贯性的标准监督训练具有巨大的数据成本，这限制了实际应用。为了做到这一点，提出了一种基于真实情况的文本摘要（生成）模型（XAI-RL）以增强连贯性。
2024-01-20 21:21:21
1028
原创 NLP论文阅读记录 - 2021 | WOS 使用预训练的序列到序列模型进行土耳其语抽象文本摘要
网络上可用文档数量的巨大增加使得查找相关信息变成了一项具有挑战性、乏味且耗时的活动。因此，自动文本摘要已成为一个重要的研究领域，受到了研究人员的极大关注。最近，随着深度学习的进步，使用序列到序列（Seq2Seq）模型的神经抽象文本摘要越来越受欢迎。这些模型有许多改进，例如使用预训练的语言模型（例如 GPT、BERT 和 XLM）和预训练的 Seq2Seq 模型（例如 BART 和 T5）。这些改进解决了神经摘要中的某些缺点，并改进了显着性、流畅性和语义等挑战，从而能够生成更高质量的摘要。
2024-01-20 20:57:35
940
原创 NLP论文阅读记录 - 2021 | WOS 基于多头自注意力机制和指针网络的文本摘要
现有的文本摘要方法主要依靠人工标记的标准摘要与原始文本之间的映射来进行特征提取，往往忽略了原始文档的内部结构和语义特征信息。因此，现有模型提取的文本摘要存在语法结构错误、语义偏离原文的问题。本文试图增强模型对源文本固有特征信息的关注，使模型能够更准确地识别文档的语法结构和语义信息。因此，本文提出了一种基于多头自注意力机制和软注意力机制的模型。通过在模型编码阶段引入改进的多头自注意力机制，训练模型使正确的摘要语法和语义信息获得更高的权重，从而使生成的摘要更加连贯和准确。
2024-01-20 20:29:40
917
原创 NLP论文阅读记录 - 2021 | WOS 03 带有语义附加奖励的强化抽象文本摘要
文本摘要是自然语言处理（NLP）中的一项重要任务。神经摘要模型通过编码器解码器结构理解和重写文档来总结信息。最近的研究试图通过基于强化学习（RL）的学习方法来克服基于交叉熵的学习方法可能存在的偏差或无法针对指标进行优化学习的问题。然而，仅具有 n 元匹配的 ROUGE 度量并不是完美的解决方案。本研究的目的是通过提出一种基于强化学习的文本摘要奖励函数来提高摘要陈述的质量。我们提出了ROUGE-SIM和ROUGE-WMD，这是ROUGE函数的修改函数。
2024-01-18 10:29:08
870
原创 NLP论文阅读记录 - 2022 | WOS 02 使用 BERT 模型进行抽取式文本摘要的性能研究
概括任务可以分为两种方法：抽取式和抽象式。提取摘要从原始文档中选择显着句子形成摘要，而抽象摘要解释原始文档并用自己的语言生成摘要。文献中已经用不同的方法研究了生成摘要的任务，无论是提取的还是抽象的，包括基于统计、图形和深度学习的方法。与经典方法相比，深度学习已经取得了令人鼓舞的性能，并且随着注意力网络（通常称为变压器）等不同神经架构的进步，摘要任务存在潜在的改进领域。Transformer 架构及其编码器模型“BERT”的引入提高了 NLP 下游任务的性能。
2024-01-18 10:20:23
1344
原创 NLP论文阅读记录 - 2022 | W0S 基于文本概念的多目标剪枝观点文本摘要
考虑到各种社交网络上发布的大量观点文本，阅读和使用这些文本极其困难。自动创建摘要可以为此类文本的用户提供很大帮助。当前的论文采用流形学习来缓解意见文本的复杂性和高维性以及用于聚类的 K-Means 算法的挑战。此外，基于文本概念的摘要可以提高摘要系统的性能。所提出的方法是无监督提取，并使用多目标修剪方法根据文本的概念进行摘要。用于执行多目标剪枝的主要参数包括相关性、冗余性和覆盖率。
2024-01-18 09:57:25
1072
原创 NLP论文阅读记录 - 2021 | WOS MAPGN：用于序列到序列预训练的掩码指针生成器网络
本文提出了一种指针生成器网络的自监督学习方法，以改进口语文本规范化。将口语风格文本转换为风格规范化文本的口语文本规范化正在成为改进机器翻译和摘要等后续处理的重要技术。迄今为止最成功的口语文本规范化方法是使用指针生成器网络进行序列到序列 (seq2seq) 映射，该网络拥有来自输入序列的复制机制。然而，这些模型需要大量的口语风格文本和风格标准化文本的配对数据，并且很难准备如此大量的数据。
2024-01-18 09:22:17
1171
原创 NLP论文阅读记录 - 2021 | WOS 利用 ParsBERT 和预训练 mT5 进行波斯语抽象文本摘要
文本摘要是最关键的自然语言处理（NLP）任务之一。每天都有越来越多的研究在这一领域进行。基于 Transformer 的预训练编码器解码器模型已开始在这些任务中受到欢迎。本文提出了两种方法来解决此任务，并引入了一个名为 pnsummary 的新颖数据集，用于波斯语抽象文本摘要。本文使用的模型是 mT5 和 ParsBERT 模型的编码器-解码器版本（即波斯语的单语言 BERT 模型）。这些模型在 pn-summary 数据集上进行了微调。
2024-01-15 22:28:57
1004
原创 NLP论文阅读记录 - 2021 | WOS 使用 GA-HC 和 PSO-HC 改进新闻文章的文本摘要
自动文本摘要 (ATS) 正在引起人们的关注，因为大量数据正在以指数速度生成。由于全球互联网的便捷性，社交网站、新闻网站和博客网站正在生成大量数据。手动摘要非常耗时，并且难以阅读和总结大量内容。自动文本摘要就是解决这个问题的解决方案。本研究提出了两种自动文本摘要模型，即层次聚类遗传算法（GA-HC）和层次聚类粒子群优化（PSO-HC）。所提出的模型使用带有层次聚类算法的词嵌入模型来对传达几乎相同含义的句子进行分组。针对新闻文本文档中的文本摘要，提出了基于改进的遗传算法和自适应粒子群优化的句子排序模型。
2024-01-15 19:22:35
901
原创 NLP论文阅读记录 - 2021 | WOS HG-News：基于生成式预训练模型的新闻标题生成
自从神经网络方法应用于文本摘要以来，神经标题生成模型最近取得了很好的成果。在本文中，我们关注新闻标题的生成。我们提出了一种基于生成预训练模型的新闻标题生成模型。在我们的模型中，我们提出了一个丰富的特征输入模块。我们提出的标题生成模型仅包含结合了指针机制和n-gram语言特征的解码器，而其他生成模型则使用编码器-解码器架构。对新闻数据集的实验表明，我们的模型在新闻标题生成领域取得了可比的结果。我们在本文中提出了一种新闻标题生成模型。生成模型不再是具有编码器-解码器结构的框架。我们的一代模型只有解码器。
2024-01-15 19:09:35
1030
原创 NLP论文阅读记录 - 2021 | WOS 基于动态记忆网络的抽取式摘要
我们提出了一种基于 Bert 和动态记忆网络的提取摘要模型。基于 Bert 的模型使用 Transformer 提取文本特征，并使用预训练模型构建句子嵌入。基于 Bert 的模型自动标记句子，无需使用任何手工制作的特征，并且数据集是对称标记的。我们还提出了一种用于提取摘要的动态记忆网络方法。在几个摘要基准数据集上进行了实验。与其他提取摘要方法相比，我们的模型显示出可比的性能。在这项工作中，我们提出了一种基于 Bert 和动态记忆网络的提取摘要模型。
2024-01-15 18:57:46
979
原创 NLP论文阅读记录 - 2021 | WOS01 通过对比学习增强 Seq2Seq 自动编码器进行抽象文本摘要
在本文中，我们通过对比学习提出了一种用于抽象文本摘要的去噪序列到序列（seq2seq）自动编码器。我们的模型采用标准的基于 Transformer 的架构，具有多层双向编码器和自回归解码器。为了增强其去噪能力，我们将自监督对比学习与各种句子级文档增强结合起来。seq2seq 自动编码器和对比学习这两个组件通过微调进行联合训练，从而提高了文本摘要在 ROUGE 分数和人类评估方面的性能。
2024-01-15 17:21:20
1323
原创 NLP论文阅读记录 - 2022 | WOS 用于摘要法律文本的有效深度学习方法
数字形式的法律判决文件的可用性为信息提取和应用提供了众多机会。由于这些法律文本的结构不寻常且复杂性高，自动摘要是一项至关重要且具有挑战性的任务。以前在这个方向上的方法依赖于巨大的标记数据集，使用手工设计的特征，利用领域知识并将注意力集中在狭窄的子领域以提高效率。在本文中，我们提出了使用神经网络的简单通用技术来完成印度法律判决文件的摘要任务。我们为此任务探索了两种神经网络架构，利用单词和句子嵌入来捕获语义。
2024-01-15 17:08:31
1034
原创 NLP论文阅读记录 - 2022 | WOS 数据驱动的英文文本摘要抽取模型的构建与应用
本文以单个英文文本为研究对象，采用数据驱动的方法研究文本摘要的自动提取方法。+is论文以单个文本为研究对象，建立文章句子之间的连接关系，提出一种基于图模型和主题模型的文本摘要自动提取方法。+e方法结合文本图模型、复杂网络理论和LDA主题模型构建句子综合评分函数来计算文本单句权重，并将文本阈值内的句子按降序输出作为文本摘要。+e算法提高了文本摘要的可读性，同时为文本摘要提供了足够的信息。在本文中，我们提出了一种基于神经主题模型的基于 BERT 的主题感知文本摘要模型。
2024-01-15 17:01:15
923
原创 NLP论文阅读记录 - 2021 | WOS 使用深度强化学习及其他技术进行自动文本摘要
大数据时代，信息过载问题日益突出。利用人工智能技术来理解、压缩和过滤海量文本信息对机器来说是一个挑战。自动文本摘要的出现主要是为了解决信息过载的问题，可以分为抽取式和抽象式两种。前者从原文中找出一些关键的句子或短语，组合成摘要；后者需要计算机理解原文的内容，然后用人类可读的语言概括原文的关键信息。本文提出了一种结合抽象摘要和提取摘要的两阶段自动文本摘要优化方法。首先，训练具有注意力机制的序列到序列模型作为基线模型以生成初始摘要。其次，它通过使用深度强化学习（DRL）直接在 ROUGE 指标上进行更新和优化。
2024-01-14 23:04:45
1081
原创 NLP论文阅读记录 - 2021 | WOS 智能树提取文本摘要深度学习
在最近的研究中，深度学习算法为自然语言提供了有效的表示学习模型。基于深度学习的模型比经典模型创建更好的数据表示。它们能够自动提取文本的分布式表示。在本研究中，我们引入了一种新的树提取文本摘要，其特征是拟合知识库训练模块中的文本结构表示，并且还解决了以前未解决的内存问题。所提出的模型采用树结构机制来生成短语和文本嵌入。所提出的架构模仿文本的树配置并提供更好的特征表示。它还采用了一种注意力机制，可以提供额外的信息源来进行更好的摘要提取。该新颖模型将文本摘要作为一个分类过程，其中模型计算短语和文本摘要关联的概率。
2024-01-14 22:58:43
880
原创 NLP论文阅读记录 - 2021 | WOS 抽象文本摘要：使用词义消歧和语义内容泛化增强序列到序列模型
如今，大多数在抽象文本摘要领域进行的研究都只关注基于神经的模型，而没有考虑将其与基于知识的方法相结合以进一步提高其效率。在这个方向上，这项工作提出了一种新颖的框架，它将基于序列到序列的神经文本摘要与基于结构和语义的方法相结合。所提出的框架能够处理词汇外或罕见词的问题，提高深度学习模型的性能。整体方法基于基于知识的内容概括和深度学习预测的明确理论模型，用于生成抽象摘要。该框架由三个关键要素组成：(i) 预处理任务，(ii) 机器学习方法，以及 (iii) 后处理任务。
2024-01-14 22:54:36
1165
原创 NLP论文阅读记录 - 2021 | WOS 使用分层多尺度抽象建模和动态内存进行抽象文本摘要
在本文中，我们提出了一种新颖的抽象文本摘要方法，具有分层多尺度抽象建模和动态记忆（称为 MADY）。首先，我们提出了一种分层多尺度抽象建模方法，从多个抽象层次中捕获文档的时间依赖性，该方法通过学习低级抽象层的精细时间尺度和粗略时间尺度来模仿人类如何理解文章的过程。高级抽象层的时间尺度。通过应用这种自适应更新机制，高级抽象层的更新频率较低，并且期望比低级抽象层更好地记住长期依赖关系。其次，我们提出了一个动态键值记忆增强注意力网络来跟踪输入文档中显着方面的注意力历史和综合上下文信息。
2024-01-14 22:49:20
856
原创 NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术
大量文本数据以多种语言以电子方式呈现。这些文本将齿轮导向信息冗余。消除这种冗余并减少这些数据的读取时间至关重要。因此，我们需要一种计算机化的文本摘要技术来从具有相关主题的文本文档组中提取相关信息。本文提出了一种与语言无关的提取摘要技术。所提出的技术提出了一种基于聚类的优化技术。聚类技术确定文本的主要主题，而所提出的优化技术则最大限度地减少冗余并最大化重要性。使用英语的 BillSum 数据集、德语和俄语的 MLSUM 以及阿拉伯语的 Mawdoo3 来设计和评估实验。使用 ROUGE 指标评估实验。
2024-01-14 22:30:01
1021
原创 NLP论文阅读记录 - 2022 WOS | 语义提取文本摘要的新方法
文本摘要是一种缩短或精简长文本或文档的技术。当有人需要快速准确地总结很长的内容时，这一点就变得至关重要。手动文本摘要可能既昂贵又耗时。在总结时，一些重要的内容，例如文档的信息、概念和特征，可能会丢失；因此，包含信息丰富的句子的保留率会丢失，如果添加更多信息，则可以生成冗长的文本，从而提高压缩率。因此，需要在两个比率（压缩和保留）之间进行权衡。该模型通过仅采用长句子并删除压缩率较小的短句子来保留或收集所有信息丰富的句子。它试图通过避免文本冗余来平衡保留率，并通过删除异常值来过滤文本中的不相关信息。
2024-01-14 17:27:20
1006
原创 NLP论文阅读记录 - 2022 W0S | 基于Longformer和Transformer的提取摘要层次表示模型
自动文本摘要是一种在保留原文主要思想的同时对文档进行压缩的方法，包括抽取式摘要和抽象式摘要。提取文本摘要从原始文档中提取重要句子作为摘要。文档表示方法对于生成摘要的质量至关重要。为了有效地表示文档，我们提出了一种用于提取摘要的分层文档表示模型 Long-Trans-Extr，该模型使用 Longformer 作为句子编码器，使用 Transformer 作为文档编码器。Longformer 作为句子编码器的优点是，该模型可以输入多达 4096 个 token 的长文档，并增加相对少量的计算。
2024-01-14 17:18:49
922
原创 NLP论文阅读记录 - WOS 06 | 2023 TxLASM：一种新颖的与语言无关的文本文档摘要模型
在自然语言处理（NLP）领域，大多数自动文本摘要方法依赖于所摘要文本的语言和/或领域的先验知识。这种方法需要依赖于语言的词性标注器、解析器、数据库、预结构化词典等。在这项研究中，我们提出了一种新颖的自动文本摘要模型，文本文档 - 语言无关摘要模型（TxLASM），它能够以与语言/领域无关的方式执行提取文本摘要任务。TxLASM 取决于所概括的文本主要元素的具体特征，而不是其领域、上下文或语言，因此不需要依赖于语言的预处理工具、标记器、解析器、词典或数据库。
2024-01-14 16:48:22
1180
原创 NLP论文阅读记录 - WOS | ROUGE-SEM：使用ROUGE结合语义更好地评估摘要
随着预训练语言模型和大规模数据集的发展，自动文本摘要引起了自然语言处理界的广泛关注，但自动摘要评估的进展却停滞不前。尽管人们一直在努力改进自动摘要评估，但由于其具有竞争力的评估性能，ROUGE 近 20 年来仍然是最受欢迎的指标之一。然而，ROUGE并不完美，有研究表明，它存在抽象摘要评估不准确和生成摘要多样性有限的问题，这都是由词汇偏差造成的。为了避免词汇相似性的偏差，人们提出了越来越多有意义的基于嵌入的度量，通过测量语义相似性来评估摘要。
2024-01-14 16:04:20
1066
原创 NLP论文阅读记录 - WOS | 2022 使用语言特征空间的抽象文本摘要的神经注意模型
摘要生成一个简短而简洁的摘要，描述源文本的主要思想。概括有两种形式：抽象概括和提取概括。提取式摘要从文本中选择重要的句子来形成摘要，而抽象式摘要通过添加新单词或短语来使用高级且更接近人类的解释来进行解释。对于人类注释者来说，生成文档摘要既耗时又昂贵，因为它需要浏览长文档并撰写简短的摘要。提出了一种用于文本摘要的自动特征丰富模型，该模型可以减少劳动量并通过使用提取和抽象方法生成快速摘要。功能丰富的提取器突出显示文本中的重要句子，并使用语言特征来增强结果。
2024-01-14 15:57:24
892
原创 NLP论文阅读记录 - 2023 | EXABSUM：一种新的文本摘要方法，用于生成提取和抽象摘要
由于在线信息呈指数级增长，无需大量阅读即可有效提取信息最丰富的内容并定位特定信息的能力对于读者来说变得越来越有价值。在本文中，我们提出了“EXABSUM”，这是一种自动文本摘要（ATS）的新方法，能够生成两种主要类型的摘要：抽取式摘要和抽象摘要。我们提出了两种不同的方法：（1）提取技术（EXABSUMExtractive），它集成了统计和语义评分方法，从文本单元中选择和提取相关的、非重复的句子；
2024-01-13 15:07:50
1126
1
原创 NLP论文阅读记录 - 2021 | 使用深度强化模型耦合上下文单词表示和注意机制的自动文本摘要
近年来，随着文本数据的快速且前所未有的增长，非常需要自动文本摘要模型来在合理的时间内从这些大量文本文档中检索有用信息，而无需人工干预。文本摘要通常基于提取和抽象范式进行。尽管在过去的几十年里，针对文本摘要任务提出了不同的基于机器学习和深度学习的方法，但它们仍处于发展的早期阶段，其潜力尚未得到充分发掘。因此，本文提出了一种新的摘要模型，该模型利用提取和抽象文本摘要模型作为基于强化学习策略梯度的单一统一模型。除了注意机制之外，所提出的模型还在提取和抽象模块中采用了卷积神经网络和门控循环单元的组合。
2024-01-12 11:31:56
905
原创 NLP论文阅读记录 - wos | 01 使用深度学习对资源匮乏的语言进行抽象文本摘要
人类必须能够应对信息技术革命产生的大量信息。因此，自动文本摘要被广泛应用于各个行业，以帮助个人识别最重要的信息。对于文本摘要，主要考虑两种方法：提取方法和抽象方法的文本摘要。提取摘要方法选择像源文档这样的句子块，而抽象方法可以根据挖掘的关键字生成摘要。对于资源匮乏的语言，例如乌尔都语，提取摘要使用各种模型和算法。然而，乌尔都语抽象概括的研究仍然是一项具有挑战性的任务。由于乌尔都语文学作品如此之多，生成抽象摘要需要进行广泛的研究。方法。
2024-01-11 21:11:37
1416
2
原创 NLP论文阅读记录 - 05 | 2023 抽象总结与提取总结：实验回顾
codepaper尽管最近的一些作品显示了不同最先进系统之间潜在的互补性，但很少有作品尝试研究文本摘要中的这个问题。其他领域的研究人员通常会参考重新排序或堆叠技术来解决这个问题。在这项工作中，我们强调了以前方法的一些局限性，这促使我们提出一个新的框架 Refactor，它提供了文本摘要和摘要组合的统一视图。在实验上，我们进行了涉及 22 个基础系统、4 个数据集和 3 个不同应用场景的综合评估。
2024-01-11 20:50:28
1049
原创 NLP论文阅读记录 - 2021 | SimCLS：抽象概括对比学习的简单框架
code在本文中，我们提出了一个概念上简单但经验上强大的抽象概括框架 SIMCLS，它可以通过将文本生成作为参考来弥合当前占主导地位的序列到序列学习框架所产生的学习目标和评估指标之间的差距-对比学习辅助的自由评估问题（即质量估计）。实验结果表明，通过对现有顶级评分系统进行微小修改，SimCLS 可以大幅提高现有顶级模型的性能。
2024-01-03 22:07:59
1066
原创 NLP论文阅读记录 - 2021 | RefSum：重构神经总结
codepaper尽管最近的一些作品显示了不同最先进系统之间潜在的互补性，但很少有作品尝试研究文本摘要中的这个问题。其他领域的研究人员通常会参考重新排序或堆叠技术来解决这个问题。在这项工作中，我们强调了以前方法的一些局限性，这促使我们提出一个新的框架 Refactor，它提供了文本摘要和摘要组合的统一视图。在实验上，我们进行了涉及 22 个基础系统、4 个数据集和 3 个不同应用场景的综合评估。
2024-01-03 21:06:43
1275
1
原创 获取CNN/DM适用于评估Bart的格式的数据集（类似于test.source、test.source.tokenized）
复现文本摘要任务评估CNN/DM数据集。
2024-01-03 16:13:57
692
原创 NLP论文阅读记录 - 01 | 2021 神经抽象摘要方法及摘要事实一致性综述
自动摘要是通过计算缩短一组文本数据的过程，以创建代表原始文本中最重要信息的子集（摘要）。现有的摘要方法大致可以分为两种：抽取式和抽象式。提取摘要器显式地从源文档中选择文本片段（单词、短语、句子等），而抽象摘要器则生成新颖的文本片段以传达源文档中最常见的最显着的概念。本次综述的目的是对最先进的抽象概括方法进行彻底的调查，并讨论这些方法面临的一些挑战。我们专注于抽象摘要任务，因为它在计算上比提取方法更具挑战性，并且更接近人类编写摘要的方式。本次调查分为两个部分。
2023-12-27 20:10:01
1002
原创 NLP论文阅读记录 -ICLR 2023 | 您只需要复制即可
codepaper主要文本生成模型通过从固定词汇表中顺序选择单词来组成输出。在本文中，我们将文本生成表述为从现有文本集合中逐步复制文本段（例如单词或短语）。我们计算有意义的文本片段的上下文表示，并使用高效的向量搜索工具包对它们进行索引。然后，文本生成的任务被分解为一系列复制和粘贴操作：在每个时间步骤，我们从文本集合中寻找合适的文本范围，而不是从独立的词汇表中进行选择。标准语言建模基准（WikiText-103）上的实验表明，根据自动和人工评估，我们的方法实现了更好的生成质量。
2023-12-27 15:16:24
974
原创 如何让自己的声音唱任何歌曲——Retrieval-based-Voice-Conversion-WebUI
使用开源项目实现克隆自己的声音唱任何歌曲类似AI孙燕姿，AI范小勤的项目github效果可用，但是会带着电音，还需要后续进行更多的调试。
2023-12-25 15:51:48
3206
原创 NLP论文阅读记录 -| 对摘要评分的通用规避攻击
摘要的自动评分很重要，因为它指导摘要生成器的开发。评分也很复杂，因为它涉及多个方面，例如流畅性、语法，甚至与源文本的文本蕴涵。然而，总结评分尚未被视为机器学习任务来研究其准确性和鲁棒性。在本研究中，我们将自动评分置于回归机器学习任务的背景下，并执行规避攻击以探索其鲁棒性。攻击系统从每个输入中预测一个非摘要字符串，这些非摘要字符串通过优秀的摘要器在最流行的指标上获得有竞争力的分数：ROUGE、METEOR 和 BERTScore。
2023-12-22 21:52:28
907
原创 NLP论文阅读记录 - | 文本生成的动量校准
大多数文本生成任务的输入和输出可以转换为两个标记序列，并且可以使用 Transformers 等序列到序列学习建模工具对其进行建模。这些模型通常通过最大化输出文本序列的可能性来训练，并假设在训练期间给出输入序列和所有黄金前置标记，而在推理过程中，模型会遇到暴露偏差问题（即，它只能访问其先前预测的在波束搜索期间使用代币而不是金代币）。在本文中，我们提出用于文本生成的MoCa（动量校准）。
2023-12-22 21:36:55
1184
原创 NLP论文阅读记录 - 2022 sota | 校准序列似然改善条件语言生成
条件语言模型主要通过最大似然估计（MLE）进行训练，为稀疏观察的目标序列提供概率质量。虽然 MLE 训练的模型为给定上下文的合理序列分配了高概率，但模型概率通常不会按质量准确地对生成的序列进行排序。这已在波束搜索解码中凭经验观察到，因为大波束尺寸会导致输出质量下降，而解码策略则受益于长度归一化和重复阻止等启发式方法。在这项工作中，我们引入了序列似然校准（SLiC），其中对模型生成序列的似然进行校准，以更好地与模型潜在空间中的参考序列对齐。
2023-12-22 21:02:44
1096
原创 NLP论文阅读记录 - | 使用 BRIO 训练范式进行抽象文本摘要
codepaper抽象摘要模型产生的摘要句子可能是连贯且全面的，但它们缺乏控制并且严重依赖参考摘要。BRIO 训练范式假设非确定性分布，以减少模型对参考摘要的依赖，并提高推理过程中的模型性能。本文提出了一种简单但有效的技术，通过微调预训练的语言模型并使用 BRIO 范式对其进行训练来改进抽象摘要。我们构建了一个越南语文本摘要数据集，称为 VieSum。我们使用在 CNNDM 和 VieSum 数据集上使用 BRIO 范式训练的抽象摘要模型进行实验。
2023-12-22 20:46:36
1145
原创 NLP论文阅读记录 - | 使用GPT对大型文档集合进行抽象总结
no codepaper本文提出了一种抽象摘要方法，旨在扩展到文档集合而不是单个文档。我们的方法结合了语义聚类、主题集群内的文档大小缩减、集群文档的语义分块、基于 GPT 的摘要和串联以及每个主题的组合情感和文本可视化，以支持探索性数据分析。
2023-12-21 15:48:48
1338
2
原创 NLP论文阅读记录 - ACL 2022 | 抽象文本摘要的拒绝学习
codepaper最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声造成的。现有的方法选择完全从训练集中删除噪声样本或标记，从而减少有效训练集的大小并产生从源复制单词的人为倾向。在这项工作中，我们提出了基于拒绝学习的抽象概括的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化解码目标，通过使用训练期间学到的拒绝概率来惩罚推理期间的非事实候选摘要。
2023-12-21 10:39:34
1068
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人