生成-可控生成
文章平均质量分 92
nopSled
一周一更
展开
-
PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION翻译
使用Transformer结构通过在大量数据上训练大规模语言模型(LMS),从而大大改善了自然语言处理任务的SOTA性能。这些模型被用于提取上下文单词嵌入,从而进行迁移学习或者自然语言生成。后者可以利用大量未经注释的数据和简单的对数似然训练目标。但是,一旦对此类模型进行了训练,在不修改模型网络结构以允许额外输入或者使用特定属性的数据进行微调的情况下,控制生成文本的属性就变得困难。可控生成需要建模p(x∣a)p(x|a)p(x∣a),其中aaa。翻译 2022-11-30 14:18:57 · 434 阅读 · 0 评论 -
Diffusion-LM Improves Controllable Text Generation翻译
大型自回归语言模型(LM)能够生成高质量的文本,但是为了能可靠地将这些LM部署在现实应用中,文本生成过程需要可控:我们需要生成满足所需要求的文本(例如,主题,句法结构)。控制LM的一种自然方法是使用有监督的格式化数据(control, text)来微调LM。但是,为每个控制任务更新LM参数成本可能是很高的,并且不允许多个控件的组合(例如,生成具有积极情感且安全的文本)。这启发了轻量化和模块化的可插拔方法,这种方法保持LM参数不更新,同时使用一个外部分类器来测量生成的文本是否满足控制要求,从而指导生成过程。翻译 2022-11-24 21:53:00 · 611 阅读 · 0 评论 -
A Recipe for Arbitrary Text Style Transfer with Large Language Models翻译
文本风格迁移是一种文本重写的任务,以在保留整体语义和结构信息的同时结合其他或直接替代风格元素。尽管由于深度学习的成功,风格迁移已经 引起了人们的兴趣,但这些方法通常需要大量标注的训练样例,要么使用平行文本数据或单风格的非平行文本数据。即使是用于解决无标签风格迁移问题的bleeding-edge方法也是有限制的,因为它们至少需要几个决定目标风格的样例句子。因此,最近的调查论文已经确定了对新方法需求的必要性,这些方法既可以减少训练数据的要求,又扩大了支持的风格范围。...翻译 2022-08-04 18:07:35 · 490 阅读 · 0 评论 -
DISCODVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer翻译
摘要1.介绍2.相关工作翻译 2022-04-01 15:41:53 · 309 阅读 · 0 评论 -
SAINT+: Integrating Temporal Features for EdNet Correctness
摘要1.介绍2.相关工作3.知识追踪4.SAINT+4.1 SAINT: Separated Self-Attentive Neural Knowledge Tracing翻译 2022-02-23 14:24:16 · 967 阅读 · 0 评论 -
Question Generation for Adaptive Education翻译
摘要翻译 2022-01-24 17:18:32 · 219 阅读 · 0 评论 -
Knowledge-Driven Distractor Generation for Cloze-Style Multiple Choice Questions翻译
摘要在本文中,我们提出了一种新的可配置框架,可以自动为开放领域完型填空类型的多项选择题生成若干选项。该框架包含一个通用知识库,以高效地构建一个小型的选项候选集,还包含一个特征丰富的 learning-to-rank 模型,以选择合理和可靠的选项。在涉及四个领域的新数据集上的实验结果表明,我们的框架在自动评估和人类评估上都产生了优于先前方法的选项。 这个数据集还可以在将来用作选项生成研究的基准。1.介绍 完型填空类型的多项选择问题(MCQ)是一种用于评估语言学习者熟练程度的常见锻炼形式,经常在家庭作翻译 2022-01-21 15:37:32 · 279 阅读 · 0 评论 -
BERTGEN: Multi-task Generation through BERT翻译
摘要我们提出了BERTGEN,一种新的仅使用解码器的,且通过融合多模态预训练模型VL-BERT和多语种预训练模型M-BERT来扩展BERT的生成模型。BERTGEN通过多个语言生成任务来自回归训练,例如图像字幕,机器翻译和跨模态机器翻译。通过一系列全面的评估,我们表明BERTGEN在这些任务都要优于许多强基线。我们还展示了BERTGEN对zero-shot语言生成的能力,其和有监督方法相比,展现出可比的性能。最后,我们进行了消融研究,表明BERTGEN能从多任务训练上收益,并能有效地从预训练模型中迁移相关翻译 2021-12-28 17:04:41 · 274 阅读 · 0 评论 -
TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction翻译
摘要由于事件内容的复杂结构和文本和事件之间的语义差距,事件提取任务面临巨大挑战。传统方法通常通过将复杂结构预测任务分解为多个子任务来提取事件。在本文中,我们提出了TEXT2EVENT,一个sequence-to-structure的生成框架,可以以端到端的方式直接从文本中提取事件。具体地,我们设计了一个用于统一事件提取的sequence-to-structure网络,并在推理期间使用了事件知识注射的约束解码算法,以及用于高效模型学习的课程学习算法。实验结果表明,通过在单模型上平均建模所有任务,并统一预测不翻译 2021-12-27 16:25:02 · 1215 阅读 · 0 评论 -
Neural Language Modeling for Contextualized Temporal Graph Generation翻译
摘要本文介绍了使用大规模预训练的语言模型来自动生成文档的事件级时间图的研究。尽管NLP任务中神经预训练方法取得了巨大成功,但其对事件图中的时间推理的可能性并未充分探索。部分原因是难以获得具有人类事件和时间链接的大型培训课程。我们通过使用现有的IE / NLP工具来解决这一挑战,以便自动生成大量(89,000)的系统生成的文档图对对,并提出了一种新颖的构造中上下文的图形生成问题作为序列到序列映射任务。这些策略使我们能够利用和微调预先训练的语言模型对图形生成任务的系统诱导培训数据。我们的实验表明,我们的方法在翻译 2021-09-14 10:48:44 · 206 阅读 · 0 评论 -
Conditional Generation of Temporally-ordered Event Sequences翻译
摘要叙事图式知识模型已被证明可用于一系列与事件相关的任务,但它们通常无法捕捉事件之间的时间关系。我们提出了一个单一模型,既可以解决时间排序问题,将给定的事件按照它们发生的顺序进行排序,也可以解决事件填充问题,即预测适合现有时间顺序序列的新事件。我们使用基于 BART 的条件生成模型,该模型可以同时捕获时间性和常见事件,这意味着它可以灵活地应用于该空间中的不同任务。我们的模型被训练为去噪自编码器:我们采用时间顺序的事件序列,将它们打乱,删除一些事件,然后尝试恢复原始事件序列。此任务教会模型在对基础场景中事件翻译 2021-08-06 19:41:58 · 271 阅读 · 4 评论 -
Toward Controlled Generation of Text翻译
摘要与最近在视觉领域的深度生成建模相比,文本的通用生成和控制具有挑战性并且成功率有限。本文旨在生成合理的文本句子,其属性是通过学习具有指定语义的隐藏表示来控制。我们提出了一种新的神经生成模型,该模型结合了变分自编码器 (VAE) 和整体属性判别器,用于有效施加语义结构。该模型也可以被视为使用wake-sleep算法增强的VAE,以利用假样本作为额外的训练数据。通过对离散文本样本的可微近似、对独立属性控制的显式约束以及生成器和判别器的高效协作学习,我们的模型甚至可以从单词注释中学习可解释的表示,并生成具有所翻译 2021-07-09 16:57:41 · 279 阅读 · 0 评论 -
Adversarial Decomposition of Text Representation翻译
摘要翻译 2021-07-02 14:26:23 · 137 阅读 · 0 评论 -
Controllable Generation from Pre-trained Language Models via Inverse Prompting翻译
摘要翻译 2021-06-25 15:33:20 · 1159 阅读 · 0 评论