![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文笔记
文章平均质量分 92
青云遮夜雨
这个作者很懒,什么都没留下…
展开
-
GRACE:梯度引导的可控检索增强基于属性的生成
在本文中,我们提出通过梯度引导的可控检索(GRACE)来增强基于属性的生成,考虑到目标属性(见图1)。具体来说,我们训练一个鉴别器来计算给定上下文的属性分布。我们构建了一个检索库,存储了从未标注数据中提炼出的自然文本及其语义和属性信息。生成模型通过可控检索提取具有相似语义的与属性相关的信息。我们设计策略来从检索结果中分离无关属性,并将预训练语言模型(PLM)表示融入生成过程中。此外,我们提出了一个算法,该算法基于梯度迭代修正逐步生成。原创 2024-03-17 13:38:47 · 965 阅读 · 0 评论 -
Multi-Attribute Controlled Text Generation with Contrastive-Generator and External-Discriminator
(1)提出了一种用外部判别器训练的对比生成器,以有效地生成具有所需属性的文本。还设计了 top-n 加权解码来进一步提高文本和所需属性之间的相关性。(2)我们进行了大量的实验来证明我们的方法可以在不牺牲语言质量的情况下生成具有所需情感和主题的文本。此外,我们的框架可以推广到新的控制代码,并在零样本生成上实现有希望的性能。原创 2024-03-14 13:32:54 · 916 阅读 · 0 评论 -
Controllable Natural Language Generation with Contrastive Prefixes:使用前缀微调指导多属性文本生成
(1)提出了一种新颖的框架,该框架利用带有冻结 LM 的前缀作为可控 GPT2 生成的轻量级替代方案。(2)提出了一种具有新颖目标的监督方法和无监督方法来进行前缀训练,其中考虑了前缀之间的关系并同时训练多个前缀。(3)这项工作为单方面控制和多方面控制提供了统一的视角。实验结果表明,我们的方法可以有效地指导单方面控制和多方面控制的生成。原创 2024-03-13 11:57:23 · 1008 阅读 · 0 评论 -
Attribute Alignment: Controlling Text Generation from Pre-trained Language Models:利用属性标签指导属性文本生成
在本文中,我们提出了属性对齐,将属性表示注入到预先训练的无条件 LM 中,而不改变 LM 参数。然而,由于在大规模预训练期间属性信号并未使用 LM 进行训练(Johnson et al., 2016;Keskar et al., 2019),因此我们引入了一个对齐函数来将属性表示桥接到 LM,以便它可以解释属性表示中的权重。简单来说,先使用LM对属性建模,然后使用属性对齐将其融合指导文本生成。原创 2024-03-12 20:13:07 · 801 阅读 · 0 评论 -
A Distributional Lens for Multi-Aspect Controllable Text Generation:一种创新性的多属性受控文本生成方法
正如上图所示,我们的方法主要涉及属性空间的构建,包括估算属性空间、搜索交集以及将交集映射到句子上。首先,我们旨在使用采样句子来构建一个属性空间,以尽可能准确地估计真实空间。我们采用了一个自编码器结构,其中潜在表征表示构成我们估计属性空间的点。为了确保我们的估计空间可靠地模型化属性,比如它们的概率分布和不同属性之间的关系,我们进一步附加了三个约束到表示上。(I)重构损失LRL_RLR旨在桥接属性空间中的点与自然属性相关句子之间的差距,这是通过内容反映的属性来恢复的。(II)属性分类损失LC。原创 2024-03-12 12:12:31 · 858 阅读 · 0 评论 -
DuNST详解:将Self-Training机制融入受控文本生成中
让xxx为文本,yyy为属性标签,DlxiyiDl{(xiyi)}是一个带有配对文本及其相应标签的标记数据集,DuxiDuxi是来自同一领域的无标记数据集。我们的目标是学习一个由θ\thetaθ参数化的属性可控生成器Ggθx∣yGgθx∣y(例如,一个大型的PLM),以生成高质量的文本x∼gθx∣yx∼gθx∣y(以自回归方式),满足给定的标签yyy。原创 2024-01-19 14:06:12 · 431 阅读 · 0 评论 -
BART论文解读:BERT和GPT结合起来会发生什么?
为了与当前摘要任务的最新技术进行比较,我们在两个具有不同特点的摘要数据集CNN/DailyMail和XSum上展示了结果。CNN/DailyMail中的摘要倾向于与源句子相似。抽取式模型在这里做得很好,甚至仅用前三个源句子作为基线的表现也非常有竞争力。尽管如此,BART在所有已有的工作中表现最好。相比之下,XSum高度概括,抽取式模型表现不佳。BART在所有ROUGE指标上大约比利用BERT的最佳前作提高了6.0分,这代表了在这一问题上性能的重大进步。在质量上,样本的质量很高(见第6节)。原创 2024-01-06 10:45:08 · 1247 阅读 · 1 评论 -
一种可扩展的多属性可控文本生成即插即用方法
相互干扰(MI)”是指在推理阶段(即零样本设置)时,多个单独训练但同时指导预训练模型的插件之间的干扰。然而,由于深度神经网络的复杂性,确切的干扰分析是困难的。直观上,如果在训练期间多个插件是同时优化的,这需要多方面标记的数据,它们的干扰将被最小化,因为它们已经学会在监督下合作地工作(即在监督设置中)。因此,我们使用在监督和零样本设置下隐藏状态的差异来近似估计多个插件的相互干扰。具体来说,让ϕiϕi和ϕiϕi分别是从单方面和多方面标记数据中学习的插件的参数。原创 2024-01-03 16:10:44 · 979 阅读 · 0 评论 -
人工智能能理解幽默吗?《Can Language Models Make Fun A Case Study in Chinese Comical Crosstalk》论文解读
以“对口”为例。双人表演通常涉及两个角色,称为“捧哏”(简称“Peng”)和“逗哏”(简称“Dou”)。Dou的目标是通过语言和动作以滑稽的方式进行表演。Peng是支持角色,使对话更加流畅和清晰。Φu1v1u2v2uKvKΦ{(u1v1u2v2uKvK)}这是一个KKK轮的双向串话对话,包含2K个话语,其中K个来自于Dou(记为uuu)和KKK个来自于Peng(记为vvv请注意,uiu_iui和。原创 2023-12-27 21:22:17 · 465 阅读 · 0 评论 -
论文笔记:详解NEUPSL DSI
Dialog Structure Induction(DSI)是推断给定目标导向对话的潜在对话结构(即一组对话状态及其时间转换)的任务。它是现代对话系统设计和话语分析的关键组件。Probabilistic Soft Logic (概率软逻辑,PSL)是一种在统计关系学习和推理中使用的框架。它结合了逻辑编程的可解释性与概率模型的不确定性处理能力,适用于处理不确定和复杂的关系数据。原创 2023-11-25 20:53:37 · 541 阅读 · 0 评论 -
论文《Unsupervised Dialog Structure Learning》笔记:详解DD-VRNN
离散-可变循环变分自编码器(D-VRNN)和直接-离散-可变循环变分自编码器(DD-VRNN)概述。D-VRNN和DD-VRNN使用不同的先验分布来建模zt之间的转换,如红色实线所示。xt的再生成用蓝色虚线表示。状态级别的循环神经网络的循环关系以灰色虚线点划线表示。zt的推断过程以黑色虚线表示。原创 2023-11-22 16:29:55 · 404 阅读 · 0 评论 -
论文《A recurrent latent variable model for sequential data》笔记:详解VRNN
循环神经网络(RNN)可以接收一个可变长度的序列xx1x2...xT作为输入,并通过递归地处理每个符号同时维持其内部隐藏状态h。在每个时间步t,RNN读取符号xt并更新其隐藏状态ht∈Rphtfθxtht−11其中f是一个确定性的非线性转移函数,θ是f的参数集。转移函数f可以通过长短期记忆(LSTM)[9]或门控循环单元(GRU)[5]等具有门控激活函数的方式实现。原创 2023-11-21 17:03:15 · 260 阅读 · 0 评论 -
论文阅读笔记:Tailor A soft-prompt-based approach to attribute-based controlled text generation
(1)提出了一种基于软提示的属性驱动 CTG 方法,名为 Tailor。为了在统一的范式中同时包括单属性和多属性 CTG,Tailor 使用一组预训练的前缀来引导一个固定的PLM生成具有预定义属性的句子,然后有效地将它们连接起来生成多属性句子。(2)通过实验揭示了连续提示的组合能力。为了增强这种组合,在单属性 CTG 后探索了两种有效的策略,一种是无需训练的策略(MAP mask + RP sequence),另一种是需要训练的策略(MAP connector)。原创 2023-11-20 23:21:29 · 153 阅读 · 0 评论 -
论文阅读笔记:Seen to Unseen Exploring Compositional Generalization of Multi-Attribute Controllable Dialogu
(1)首次探索用于多属性可控对话生成的组合泛化,并发现现有模型缺乏对分布外的多属性组合的泛化能力。(2)提出了一种解耦的可控生成方法,DCG,它通过属性导向提示的共享映射学习从已见值到未见组合的属性概念,并使用解耦损失来分离不同的属性组合。(3)引入了一个统一的无需参照的评估框架,MAE,用于不同粒度的属性。我们建立了两个基准测试,并且充分的实验结果证明了我们的方法和评价指标的有效性。原创 2023-11-20 23:20:59 · 172 阅读 · 0 评论