文本生成论文阅读A Distributional Lens for Multi-Aspect Controllable Text Generation

原创 已于 2023-04-03 19:48:16 修改 · 495 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #人工智能 #机器学习

于 2023-04-03 19:17:47 首次发布
文章提出了一种新的多向可控文本生成方法，通过在属性分布的交集区域搜索来解决现有方法中的属性退化问题。使用自编码器估计属性空间，然后迭代接近多个属性的交点，最后用前缀调优的解码器生成文本。实验显示该方法在属性相关性和文本质量上优于基线，并在情感控制、主题控制和文本去毒任务上达到SOTA。然而，该方法在少样本和属性语义差距大时可能受限。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

多向可控文本生成是一项比单向控制更具挑战性和实用性的任务。现有方法通过融合从单一方面学习到的多个控制器来实现复杂的多方面控制，但由于各控制器之间的相互干扰，导致属性退化。为了解决这个问题，作者从分布的角度对属性融合进行了观察，并提出直接搜索多个属性分布的交集区域作为它们的组合进行生成。首先用自编码器结构估计属性空间。之后，通过联合最小化到表示不同属性的点的距离来迭代地接近交点。最后，使用基于前缀调优的解码器将它们映射到与属性相关的句子。在三种控制任务上（包括情感控制、主题控制和文本去毒）的实验表明，该方法在属性相关性和文本质量方面优于几个强大的基线，并达到了SOTA。后续分析也为该方法的有效性提供了一些解释性支持。

以下是论文的正文内容

一、相关工作

前人工作

多属性可控生成是文本生成中一种困难但有高价值的任务。现有的方法大多数在各属性的分布的插值中心寻找满足多属性要求的句子表示。以下为常见的三种处理方法
1）weighred decoding
使用一个属性判别器来引导语言模型（也就是在解码阶段使用判别器进行微调）：PPLM，Fudge,Gedi等等、
2）Multi-Objextive Optimization
使用语言模型来混合多个目标：DGC,COLD Decoding等等
使用拉格朗日乘数法将多目标优化问题转化为不等式约束：MUCOCO等等
3）Prefix Tuning
将prefix

最低0.47元/天 解锁文章
Multi-Aspect Controllable Text Generation with DisentangledCounterfactual Augmentation
qq_52053775的博客
01-02 126
背景与问题多维属性可控文本生成（MCTG，Multi-aspect Controllable Text Generation）指生成同时满足多个属性（例如情感、主题）的文本，是一种可控文本生成（CTG）技术的扩展。近年来，基于大型语言模型（LLMs）的生成式人工智能（如GPT和其他Transformer模型）迅速发展，使得CTG技术获得了越来越多的关注。然而，与单维属性控制相比，多维属性控制面临更大的挑战，特别是在多个属性相互关联且存在不平衡性时。这种不平衡通常由真实世界数据中属性组合的偏好性导致，
论文阅读 A Distributional Framework for Data Valuation
what_how_why2020的博客
06-06 1214
本论文解决的问题量化数据价值（机器学习模型训练中各个数据点的贡献）避免数据价值受到其所处数据集的影响，使数据点的估值更加稳定、一致。
A Distributional Lens for Multi-Aspect Controllable Text Generation：一种创新性的多属性受控文本生成方法
qq_51957239的博客
03-12 998
正如上图所示，我们的方法主要涉及属性空间的构建，包括估算属性空间、搜索交集以及将交集映射到句子上。首先，我们旨在使用采样句子来构建一个属性空间，以尽可能准确地估计真实空间。我们采用了一个自编码器结构，其中潜在表征表示构成我们估计属性空间的点。为了确保我们的估计空间可靠地模型化属性，比如它们的概率分布和不同属性之间的关系，我们进一步附加了三个约束到表示上。（I）重构损失LRL_RLR​旨在桥接属性空间中的点与自然属性相关句子之间的差距，这是通过内容反映的属性来恢复的。（II）属性分类损失LC。
哈工大SCIR十篇长文被EMNLP 2022主会及子刊录用
zenRRan的博客
10-13 1720
每天给你送来NLP技术干货！来自：哈工大SCIREMNLP 2022（The 2022 Conference on Empirical Methods in Natural Language Processing）将于2022年12月7日至11日以线下和在线混合会议的形式举办。EMNLP是计算语言学和自然语言处理领域顶级国际会议之一，CCF B类会议，由ACL SIGDAT（语言学数据特殊兴趣小组...
通过P-MASKING提升多属性受控生成的能力
步子哥的博客
11-02 838
在当今这个信息爆炸的时代，文本生成技术正如一枚火箭般迅速发展，尤其是在受控文本生成（Controlled Text Generation, CTG）领域，需求日益增长。无论是内容创作、个性化沟通还是自动写作，如何精确控制文本生成的特征已成为一个重要课题。然而，传统方法往往在处理多种语言属性时显得力不从心，仿佛在面对一场复杂的舞蹈表演时，只有一位舞者在独自舞动。让我们一起深入探讨这一领域的新进展——LingGen及其动态P-MASKING策略。
每日论文速递 | 通过Token-level的Feedback进行强化学习控制文本生成
zenRRan的博客
03-25 339
深度学习自然语言处理 分享整理：pp摘要：为了满足实际应用的要求，控制大型语言模型（LLM）的生成至关重要。之前的研究试图将强化学习（RL）引入可控文本生成，而大多数现有方法都存在过拟合问题（基于微调的方法）或语义崩溃（后处理方法）。然而，目前的强化学习方法一般由粗粒度（句子/段落级）反馈指导，这可能会由于句子内部的语义扭曲或进展而导致性能不佳。为了解决这个问题，我们提出了一种名为 TOLE 的新...
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 6728
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
2019-2021 文本生成图片 Text To Image（T2I） Synthesis 论文整理
qq_26136211的博客
03-25 4046
参考：文本生成图像！GAN生成对抗网络相关论文大汇总 A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis 介绍了关于GAN生成对抗网络的相关Text-to-Image论文，将其分类为Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANs, Motion Enhancement GANs四类，
《Nature》最新研究：大脑中存在分布式强化学习机制A distributional code for value indopamine-basedreinforcementlearning
强化学习曾小健
02-10 942
总结来说，研究者发现大脑中的每个多巴胺神经元都被调到了不同的积极或消极程度。要是它们是一个唱诗班，它们唱的并不是一个音符，而是在唱和声，它们都像低音或女高音歌手一样，有着各自始终如一的声带。在人工强化学习系统中，这种多样的调整，创造了更加丰富的训练信号，极大地加速了神经网络中的学习速度，研究者推断大脑也会出于这种考量而去采用这种多样的调整方式。大脑中现存的分布式强化学习，对AI 和神经科学都有着非常有意思的影响。
论文速递 && EMNLP2022 | 接受论文抢先看！！！（内含下载列表）
yinizhilianlove的博客
10-10 1797
关于EMNLP2022，最近有作者开始收到论文接受的通知。因此本文为大家整理了一波EMNLP2022接收论文供大家下载阅读。其中共计26篇，这里整理了24篇。
论文阅读《LIMA:Less Is More for Alignment》
qq_61219755的博客
10-14 656
Meta AI最新研究揭示：仅需1000条精选数据就能让650亿参数大模型LIMA达到与GPT-4相近的表现。实验显示，大模型99%的能力来自预训练阶段，微调仅需教会其表达方式。研究发现：1）数据质量比数量更重要；2）多样化数据更有效；3）性能随数据量增长呈边际递减。虽然LIMA在43%情况下匹敌GPT-4，但安全性能仍需加强。该成果颠覆了"数据越多越好"的传统认知，为AI训练提供了更高效的新思路。
QwenVL - 202310版-论文阅读
zhangjipinggom的博客
10-11 573
这里叫微调感觉主要是数据量少（350k），且模型已经具备一定能力，这里是让输出更符合人的习惯。和前面两个阶段还有一个很大不同的是，数据格式不一样，会加上图片标识，且计算损失函数时候不会把人提问的内容加进去（前面两个阶段没有人提问的prompt）第二个阶段-多任务预训练：训练损失函数还是生成的文本的交叉熵，和第一阶段很像。第一个阶段-预训练：训练损失函数是生成的文本的交叉熵，本质是一个图生文任务感觉不直接训练三个模块是为了降低训练难度？QwenLM里面7B的参数是不动的，这样只需要训剩下的1.98B。
[论文阅读]Progent: Programmable Privilege Control for LLM Agents
最新发布
m0_52911108的博客
10-14 860
现有攻击都利用了 LLM 代理的自主性，欺骗它们执行其原始任务不需要的危险操作。解决此问题的一个高级解决方案是实施权限控制，确保代理不会在其预期目的之外执行敏感操作。然而，由于 LLM 代理的多样性和复杂性，要实现这一点具有挑战性。LLM 代理的广泛应用意味着在不同的场景中的安全需求不同，攻击媒介从恶意提示到投毒记忆和恶意工具等，需要一个富有表现力和通用的安全框架，这样的框架可以适应不同agent的上下文、设计和风险。LLM是概率神经网络，其内部工作难以理解。
论文笔记（九十三）ManipulationNet: Benchmarking
xzs1210652636的博客
10-12 1067
挑战与差距 现有方法在推动机器人操作基准化方面取得了显著进展，但仍面临三个关键挑战（如图2所示）： 现实性缺失：基于仿真的基准虽能实现大规模评测，但受限于物理引擎的准确性，难以完全反映真实世界的复杂性。接触动力学、摩擦力和材料变形等物理现象的模拟不完美，导致仿真结果与真实操作存在差距。 可访问性不足：现实世界竞赛和集中式评测设施虽然提供真实环境，但受限于地理位置和硬件资源，难以广泛覆盖全球研究社区。远程访问的同构机器人平台（如Real Robot Challenge）虽部分解决了这一问题，但仍存在排队等待和
[论文阅读] AI | PynguinML——破解ML库自动化测试难题，覆盖率最高提升63.9%
张较瘦
10-13 867
Python机器学习库（如PyTorch、TensorFlow）的API存在严格输入约束（如张量维度、数据类型），但现有单元测试生成工具（如Pynguin）无法识别这些约束，导致生成非合规输入、早期测试失败及低代码覆盖率。为此，本文提出PynguinML——Pynguin的扩展方案，通过加载从165个ML模块（PyTorch 53个、TensorFlow 112个）API文档中提取的约束，优化输入生成（新增嵌套列表语句、标准化张量生成）与算法规则。实验表明，PynguinML的平均分支覆盖率达38.6%，较
Differentially Private Synthetic Text Generation for RAG——论文阅读
2301_77039628的博客
10-12 787
本文提出DP-SynRAG框架解决RAG系统中隐私泄露问题。通过差分隐私聚类和合成文本生成两阶段处理：首先对文档进行加噪关键词提取和聚类，再通过LLM生成满足差分隐私的合成文本。该方法只需一次DP处理，支持无限次查询且不消耗隐私预算。实验表明，在医疗、推荐和问答任务中，DP-SynRAG性能接近非隐私RAG，显著优于传统DP-RAG，并能有效防止敏感信息泄露。该框架在相同隐私预算下实现了隐私保护与性能的平衡，解决了多查询场景下隐私预算累积导致的性能下降问题。
DyCoke论文阅读
qq_62794275的博客
10-14 220
在后续的解码步骤中，如果某个被剪枝的token的注意力分数重新升高，它会被动态地“召回”到活跃的KV缓存中。通过一个无需训练、即插即用的两阶段动态压缩框架DyCoke，可以在大幅提升推理速度、降低显存占用的同时，保持甚至超越原始模型的性能，为实现快速、高效的视频大语言模型提供了切实可行的vv。，模型都会重新评估当前所有视觉token的重要性（基于注意力分数），然后只保留最重要的top-p%的token在KV缓存中用于下一步的计算。仅保留 I_p 对应的token在活跃的KV缓存中，用于下一步的注意力计算。
【论文阅读】基于指数-高斯混合网络的视频观看时间预测的多粒度分布建模-小红书recsys25
Junewang0614的博客
10-13 935
本文介绍了小红书平台上一项关于短视频观看时长预测的研究工作。研究发现，用户观看时长呈现粗粒度的偏态分布（闪滑行为导致）和细粒度的多样化分布（受用户偏好、视频类型等因素影响）。针对这一特点，作者提出了一种基于指数-高斯混合分布(EGM)的神经网络模型EGMN，通过指数分布捕捉闪滑行为，混合高斯分布拟合细粒度差异。实验表明，该方法在离线和在线场景中均显著优于基线模型，尤其在识别闪滑行为和建模复杂分布方面表现突出。消融实验验证了模型各组件（指数部分、高斯部分、损失函数）的有效性。该研究为精准预测用户观看时长提供了
HICom论文阅读
qq_62794275的博客
10-14 352
其他模型的token数量（例如，相比LLaVA-Video的6272个token，HICom只需1328个），取得了更高的平均分，证明了其压缩效率和性能优势。HICom由于其高效的压缩机制，在推理时可以轻松扩展到更多的帧数（如从32帧扩展到128帧），从而在处理中长视频时性能提升明显，展现了良好的泛化能力。数据集（包含“指令-描述”对），来预训练整个压缩模块（包括指令注入部分）。实验证明，增加了新的条件化预训练阶段后，模型在所有基准上的性能都有一致的提升（平均1.17%），验证了该阶段的必要性。
深度强化学习的分布视角：理解Distributional RL
"这篇资源是关于深度强化学习的原始论文——《A Distributional Perspective on Reinforcement Learning》，适合初学者理解并探索分布视角下的强化学习。论文着重强调了奖励分布的重要性，而不仅仅是期望值，这对于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值