论文阅读：PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION（PPLM）

最新推荐文章于 2024-06-25 09:46:48 发布
最新推荐文章于 2024-06-25 09:46:48 发布
阅读量2.3k 收藏 3
点赞数 4
分类专栏： nlg_paper 文章标签： PPLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36533552/article/details/107131606
版权
PPLM是一种方法，它无需对预训练语言模型进行额外训练或微调，即可实现条件文本生成。通过属性模型控制梯度，调整隐藏层，使生成的文本更符合指定属性。实验包括词袋模型、情感极性分类和多属性模型的联合使用，有效控制文本风格，并能减少有害内容的生成。该方法适用于大型模型，如GPT3，为测试和控制大模型提供了新途径。
摘要由CSDN通过智能技术生成

paper：https://arxiv.org/abs/1912.02164

code：

一. NLP 研究人员们提出过各种各样的条件文本生成方式，包括，

  1. 从一个预训练语言模型开始，做精细调节，以便让它始终都能生成某种特定风格的句子；2. 从零开始训练一个大型条件生成模型；
  2. 不改变这个大的语言模型，而是通过关键 n 元组替换的方式，调节已经生成的句子的风格。

PPLM 的最大优点是不需要对语言模型做任何额外的改动（不需要重新训练或者精细调节），就能直接在预训练语言模型的基础上生成条件文本。简单的说就像我只需要一个模型的api，在不需要修改别人模型下就能根据我们自己算法提供的约束条件，控制文本生成；

                                 

最低0.47元/天 解锁文章
咕噜咕噜day
关注
专栏目录
PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACHTOCONTROLLEDTEXT（PPLM）:代码深入理解(一)—Bag-Of-Words
咕噜咕噜
07-21 847
代码链接：PPLM_code 一. Example command for bag-of-words control: python run_pplm.py -B military --cond_text “The potato” --length 50 --gamma 1.5 --num_iterations 3 --num_samples 10 --stepsize 0.03 --window_length 5 --kl_scale 0.01 --gm_scale 0.99 --colorama --
PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROL LEDTEXT（PPLM）:代码深入理解(二)—PPLM_Discrim
咕噜咕噜
07-22 698
代码链接：PPLM_code 二. Example command for discriminator based sentiment control python run_pplm.py -D sentiment --class_label 2 --cond_text “My dog died” --length 50 --gamma 1.0 --num_iterations 10 --num_samples 10 --stepsize 0.04 --kl_scale 0.01 --gm_scale 0
NLG简要调研(data2text+(Abstractive) Summarization)
CSer
04-07 854
目录 NLG简介： 典型任务： 文本生成方法 一、Data2text方法 早期方法： 基于NN方法： 基于神经机器翻译（Neural Machine Translation） 基于神经语言模型（Neural Language Model） 二、生成式自动摘要生成(基于NN) 最新模型： 评价指标： 客观评价指标： 主观评价指标： 数据集： 应用： NLG简介： 我们认为NLP = NLU + NLG，NLU-Neural Language Understanding指的自然语言理解，NLG-N.
推荐开源项目：Generative Distributional Control - 强大的语言模型约束框架
最新发布
gitblog_00056的博客
06-25 408
推荐开源项目：Generative Distributional Control - 强大的语言模型约束框架 项目地址:https://gitcode.com/naver/gdc 1、项目介绍 Generative Distributional Control (GDC) 是一个创新的框架，专注于在预先训练的语言模型中添加点对点或分布性的约束条件。它使我们能够确保生成的文本样本不仅满足特定的质量标...
PLUG AND PLAY LANGUAGE MODELS
weixin_44385551的博客
11-20 1182
标题：《PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION》 时间：2020年3月 作者：Uber AI 内容：本文关注可控生成，或条件生成问题。提出了一个Plug and Play Language Model (PPLM) 模型，它结合了一个预训练LM和一个或若干个属性分类器（attribute classifiers）来引导文本生成，而不需要进一步训练LM。 源码：https://github.c
PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION翻译
nopSled
11-30 434
使用Transformer结构通过在大量数据上训练大规模语言模型（LMS），从而大大改善了自然语言处理任务的SOTA性能。这些模型被用于提取上下文单词嵌入，从而进行迁移学习或者自然语言生成。后者可以利用大量未经注释的数据和简单的对数似然训练目标。但是，一旦对此类模型进行了训练，在不修改模型网络结构以允许额外输入或者使用特定属性的数据进行微调的情况下，控制生成文本的属性就变得困难。可控生成需要建模p(x∣a)p(x|a)p(x∣a)，其中aaa。
论文笔记[6] ACL2020_Rigid Formats Controlled Text Generation (SongNet)
Aman's Blog
04-17 1512
论文题目：Rigid Formats Controlled Text Generation 论文传送门： SongNet 论文团队：Piji Li, Haisong Zhang, Xiaojiang Liu, Shuming Shi - Tencent AI Lab, Shenzhen, China Github：https://github.com/lipiji/SongNet 目录摘要引言任务定义模型描述概览细节预训练和微调生成实验设置设置数据集评价指标对比模型结果和讨论结果消融分析参数调整人工评测实例
computer-controlled systems：theory and design
04-11
3. **计算机硬件接口**：书中会讲解如何将控制系统与计算机硬件进行接口，包括A/D和D/A转换器的工作原理、采样定理以及硬件实时性问题。 4. **控制算法**：计算机控制系统中常见的控制算法有PID（比例-积分-微分）...
论文阅读:SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
qq_43663979的博客
09-11 1104
1.研究背景： 为了改进Fedavg算法当数据是异构(非iid)时，它遭受“客户漂移”，导致不稳定和缓慢的收敛。 2.提出的方法： 它使用控制变量(方差减少)来纠正本地更新中的“客户端漂移”。我们证明了SCAFFOLD需要更少的通信轮数，并且不受数据异构性或客户端采样的影响。进一步，我们证明(对于二次方程) SCAFFOLD可以利用客户端数据的相似性，从而产生更快的收敛。 后者是量化局部步骤在分布式优化中的作用的第一个结果。 1).创新点: a.可以克服客户端异质性(可以将异质性视为在不同客户端之间的更新
SongNet:ACL 2020论文代码“刚性格式控制的文本生成”：https
05-13
title = "Rigid Formats Controlled Text Generation", author = "Li, Piji and Zhang, Haisong and Liu, Xiaojiang and Shi, Shuming", booktitle = "Proceedings of the 58th Annual Meeting of the ...
controlled-peptide-generation:https的源代码
05-01
可控的深度生成模型和分子动力学加速了抗菌素的发现 这项工作将于2021年3月11日发表在《自然生物医学工程》上 网址： ： 从头治疗设计面临着巨大的化学库和多种限制，例如高广谱效力和低毒性。...
可控文本生成系列-A Survey of Controllable Text Generation using Transformer-based Pre-trained
yaohaishen的专栏
07-20 7304
ControlableTextGeneration，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义论文中给出了两个简单的例子第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。.............
论文阅读——Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging
qq_42208244的博客
02-05 5537
大规模快照压缩成像的即插即用算法
PPLM：使用即插即用语言模型控制文本生成
小岁月太着急
12-13 5549
Paper：https://arxiv.org/pdf/1912.02164.pdf Code：https://github.com/uber-research/PPLM 本文讨论了一种受控文本生成的替代方法，称为即插即用语言模型（PPLM），该方法在Uber AI的最新论文中得到介绍。PPLM允许用户将代表所需控制目标的一个或多个简单属性模型灵活地插入到大型无条件LM中。该方法的...
CTRL，Control Transformer可控文本生成技术详解
人工智能曾小健
06-23 863
对于控制信号，可以像 L2W 和 PPLM 选择属性判别器的似然概率；也可以同 CTRL 一样设计 Prompts 和 control codes；或者可以像 GSum 引入句、词、段落、三元组等多种形式的内容。对于将控制信号反馈给模型的方式，可以如 PPLM 般基于梯度上升，也可以像 GeDi 直接修改单词表上的概率分布，或者同 Hafez 一样从 Beam Search 入手，将判别器给出的得分反馈到似然得分上。然而，即使合理地引入了控制信号，也无法保证可控性能。
论文解读: | (CVPR2019)《Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels》
RaySunWHUT
12-06 5110
论文解读：《Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels》 首先，奉上论文和代码： 论文链接: Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels 代码链接: https://github.com/cszn/DPSR Introduction ...
论文阅读笔记——Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
weixin_44902962的博客
04-08 308
多属性的可控文本生成介绍
每天一篇论文 299/365 Plug-and-Play: Improve Depth Prediction via Sparse Data Propagation
流浪机器人的博客
12-26 432
Plug-and-Play: Improve Depth Prediction via Sparse Data Propagation 代码 其他深度增强论文 2. Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image 5.Sparse and dense data with cnns: D...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值