《论文阅读》Affect-LM: A Neural Language Model for Customizable Affective Text Generation

已于 2023-02-11 18:29:24 修改
阅读量387 收藏
点赞数
分类专栏： NLP 文章标签： 论文阅读 语言模型 深度学习
于 2022-09-12 21:21:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/126823066
版权
NLP 专栏收录该内容
89 篇文章 52 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了Affect-LM，一个在ACL2017发表的模型，用于基于情感类别的定制情感文本生成。通过结合情感词汇和强度，该模型能生成不同情感程度的回复。在感知实验中，Affect-LM生成的句子被评价为既情感丰富又语法正确。此外，它还通过困惑度实验展示了增强语言模型预测能力的潜力。未来的研究方向可能聚焦于改进情感识别以提升对话的流畅性和情感自然度。
摘要由CSDN通过智能技术生成

《论文阅读》Affect-LM: A Neural Language Model for Customizable Affective Text Generation

期刊：ACL2017

类型：情感对话

特点：通过情感词汇+情感强度来生成不同程度的情感回复

本文带来Sayan Ghosh、Mathieu Chollet、 Eugene Laksana、Louis-Philippe Morency和Stefan Scherer共同创作的文章

简介

人类的言语交际包括情感信息，它是通过使用带有情感色彩的词语来传达的。在这方面已经有了很多研究，但如何将最先进的神经语言模型与情感信息相结合仍然是一个有待探索的领域。在本文中，我们将其扩展到LSTM (Long - term - Memory)语言模型，在情感类别为条件的基础上生成会话文本。我们提出的模型，Affect-LM能够让我们通过附加的设计参数来定制生成句子中情感内容的程度。使用Amazon Mechanical Turk进行的感知研究表明，AffectLM在不牺牲语法正确性的情况下生成了看起来自然的情感句子。Affect-LM还学习情感辨析词表征，困惑度实验表明，会话文本中附加的情感信息可以提高语言模型的预测能力。

论文试图解决什么问题？

  1. 截止到作者写论文之前，仍没有利用情感信息来构建文本的神经语言模型，基于语言理解的深度学习集中于词义、句义的表征&#
了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
专栏目录
订阅专栏
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
weixin_41697507的博客
07-01 1990
Averaged-DQN：深度强化学习的方差减少和稳定性 Abstract Instability and variability of Deep Reinforcement Learning (DRL) algorithms tend to adversely af-fect their performance. Averaged-DQN is a sim-ple extension to th...
Affect-LM: A Neural Language Model for Customizable Affective Text Generation
you_jinpeng的博客
11-04 598
β表示情感强度，可以从0（中性，基线模型）到β=∞（生成的句子只由情感色彩的单词组成，没有语法结构） et−1e_{t-1}et−1​表示从上文学到的词向量，g(et−1e_{t-1}et−1​)表示属于哪种情感,例[1,0,1,1,0] ViTV{^T_i}ViT​表示第i个词和g(et−1e_{t-1}et−1​)的相似度，g(et−1e_{t-1}et−1​) * ViTV{^T_i}ViT...
特定主题或特定情感下的文本生成
渐渐遗忘的记忆
05-24 2071
特定主题或特定情感下的文本生成 1. Topic Aware Neural Response Generation(2017) 提出了TA-Seq2Seq模型。 其中TwitterLDA很有用，它是短文本最优的主题模型。TwitterLDA假设：每一条信息只于一个主题有关，信息中的每个词要么是背景词要么是这条信息下的主题词。 联合注意力机制： Message attention：最后融合成上下...
ACL 2017 录用论文整理（长文）
Q_S_Y_Q的博客
06-06 3935
ACL 2017 录用论文整理（长文） https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/ 论文集现在还不能直接下载到（好像在 这里 是能下载的），本文将会陆续搜集录用论文的下载地址。同时部分文章会精读、写一些笔记。下面的短评都是纯粹基于abstract部分加上笔者的脑补形成的。很多领域我...
NLP 专题论文解读：从 Chatbot 到 NER | PaperDaily #11
Paper weekly
11-08 913
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。 这是 PaperDaily 的第 11 篇文章 这里是第 11 期 PaperDaily。 本期论文笔记是由 Pap
[2017 - 2018 ACL] 对话系统论文研究点整理
weixin_30617695的博客
01-21 250
（论文编号及摘要见 [2017 ACL] 对话系统. [2018 ACL Long] 对话系统. 论文标题[]中最后的数字表示截止2019.1.21 google被引次数） 1. Domain Adaptation: challenges: 　　(a) data shifts (syn -> live user data; stale -> current) caused...
NLP专题论文解读：从Chatbot、NER到QA系统...
木东的博客
06-06 923
一、对话系统论文 | Affective Neural Response Generation链接 | http://www.paperweekly.site/papers/1043作者 | Jeffreygao1. 论文动机 论文来自华为诺亚方舟实验室。都说人工智能要有情感，能体会到人的喜怒哀乐，今天就来介绍一篇带有情绪的 chatbot。在以往的研究中，大部分对话系统都只关注生成对话的语法语义...
论文精读系列文章——Point-LIO: Robust High-Bandwidth Light Detection and Ranging Inertial Odometry
YangtseJin的博客
03-22 1711
Point-LIO: Robust High-Bandwidth Light Detection and Ranging Inertial Odometry
LM-Cocktail[2]：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
丨汀、的博客
07-02 407
LM-Cocktail：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
ora00600内部错误代码oracle,ORA-00600: 内部错误代码, 参数: [13013]
weixin_30253289的博客
04-04 3879
ORA-00600:内部错误代码,参数: [13013]数据库版本：Oracle11.2.0.1.0数据库服务器操作系统：Windowsserver 2008错误号(1)：ORA-00600:internal error code, arguments:[13013], [5001],[267], [8460734], [2], [8460734], [17], [], [], [], []详细报...
情感+对话文章总结
zeroQiaoba的博客
12-14 5103
这是ACL2017的一篇文章，主要就是把情感属性和情感强度增加到句子生成过程中。(发布的时间比较早了，最晚也是2017年初发布的) 主要提出了Affect-LM模型，是我目前看过的，最早提出的模型之一了。 任务目标是：给出前M个词，情感向量e以及情感作用的强度β，输出后面的N个单词，组成完整的一句话。 它本质就是一个增加情感的语言模型，用来做句子生成。 模型公式： 用β控制情...
论文笔记：Online Class-Incremental Continual Learning with Adversarial Shapley Value
最新发布
weixin_47505105的博客
10-04 261
这篇工作的focus 是 memory-based approach。
论文笔记：LAFF 文本到视频检索的新基准
zly_Always_be的博客
10-01 1045
整理了ECCV2022 Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval 论文的阅读笔记
车辆重识别（2020NIPS去噪扩散概率模型）论文阅读2024/9/27
vegetabler的博客
09-28 616
从标准正太分布中采样得到z1，给出β1的值，对x0进行参数重整化，得到x1的值，形式上来看就是x1=x0+噪声，然后向参数网络中输入x0，t等数据，进行网络训练，使得所输出的预测噪声尽量和加入的噪声z1有较小的差距，一边扩散一边训练参数网络，直到结束。然后，我们在T个轮次中，不断向其加入高斯噪声（其实加入高斯噪声指的就是对于每一步的xt，对其参数重整化，也就是说让xt*σ+μ，当然这里的σ和μ都不是一个简单的值，使得经过处理之后的xt符合相应的高斯分布），使得最终的xT变成了一个各向独立的高斯分布。
论文笔记：Anytime Continual Learning for Open Vocabulary Classification
weixin_47505105的博客
10-01 493
在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。
【论文阅读】Simulating 500 million years of evolution with a language model
GUANYX的博客
09-29 1232
展示了语言模型在蛋白质设计和进化模拟方面的能力。通过对 ESM3 模型的研究，发现其能够生成与自然蛋白质差异较大且具有功能的新蛋白质，如新型绿色荧光蛋白（GFP），表明语言模型可以达到自然进化未探索的蛋白质设计空间，为蛋白质工程和进化研究提供了新的途径和见解。ESM3是多模态生成模型，对序列、结构和功能等多种模态进行推理，输入通过标记化处理，经过transformer和几何注意力等处理，输出可通过解码器转换为具体形式，如结构标记可解码为原子坐标。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 387
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
word-break: break-all;
03-30
The CSS property "word-break: break-all;" is used to specify how to break lines within words when they overflow the boundaries of their container. When this property is applied, the browser will break the word at any point to prevent it from overflowing its container. This can result in words being broken in the middle of letters or syllables, which may not be ideal for the readability of the text. This property is useful in situations where you want to ensure that long URLs or email addresses are not cut off and remain fully visible, even if they extend beyond the container. It can also be used for languages that don't have spaces between words, like Chinese or Japanese. However, it should be used with caution as it can negatively affect the readability of the text.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值