Prompt Learning for News Recommendation 论文阅读 SIGIR2023

Prompt Learning for News Recommendation

SIGIR 2022

2023.9.9

Introduction

现有的使用预训练模型进行新闻推荐(NR)的缺点:由于任务目标与PLM不一致,本文认为现有方法的建模范式没有很好地利用预训练过程中嵌入的丰富的语义信息和语言知识。

本文提出了一种新的面向新闻推荐的框架,称为Prompt4NR,该框架采用了一种称为prompt learning的预训练、提示和预测范式。在这个框架中,任务被转化成一个填空式掩码预测任务,通过设计一系列提示模板和相应的答案空间,以充分利用预训练过程中嵌入的丰富语义信息和语言知识。

Methodology

模型结构如下图所示,其中包含三个主要模块:(1)NR数据格式转换;(2)Prompt模板;(3)答案预测和词面实现。

用户集和新闻集分别表示为UD,每个新闻主要包含标题Title={w1,w2,..,wM},它是一个词序列,其中M是单词数量。给定用户的点击序列

和候选新闻Dc,新闻推荐(NR)任务旨在预测排名分数,以估计用户u是否会点击候选新闻的概率。具有最高分数的候选新闻将被推荐给用户。

(1)NR数据格式转换

给定用户点击序列Hu和候选新闻Dc,需要将它转化为一个自然语言句子,分别表示为< USER >和< CANDIDATE >,对于< USER >,将一个用户历史记录中新闻的标题连接起来,其中在每个标题的开头添加一个虚拟标记[NCLS],以分割每个被点击的新闻。对于< CANDIDATE >,采用候选新闻的标题。表示为:

(2)Prompt模板

就是将用户点击序列和候选新闻和[MASK]转化为自然语言的过程,

本文尝试了不同模板的作用。因此,从不同角度设计了三种模板,包括离散、连续和混合模板,以捕捉用户和候选新闻之间匹配信号的不同方式。下表总结了本文设计的提示模板。

1)离散模板

离散模板是提示学习中最常见的模板工程类型,它通过可解释的自然语言形式形成输入数据,这需要一些先前的经验性知识。从四个不同的考虑角度设计了四个离散模板,其中每个模板对应一种衡量用户兴趣和候选新闻匹配信号的方法。

语义相关:检查相关新闻内容是否是用户阅读新闻的核心动机。将NR任务转化为< CANDIDATE >和< USER >之间的相关性,答案词为“相关”和“不相关”。

用户情绪:调查用户对新闻的情感反应是否是最具影响力的因素。使用“有趣”和“无聊”这两个情感词作为答案来估计用户对< CANDIDATE >的情感反应。

用户行为:研究MLM是否可以直接作为点击预测器。输入 < USER >和< CANDIDATE >后,让MLM直接预测用户是否会点击新闻,答案选项为“是”和“否”。

推荐效用:探索MLM是否可以自行判断推荐候选新闻的潜在优缺点。向MLM提供一个利用率问题,答案选择为“好”和“坏”作为推荐效用的预测。

2)连续模板

表1展示了四个连续模板,每个模板对应一个离散模板。在 < USER >、< CANDIDATE > 和 [MASK] 前分别添加了一些虚拟可学习token,表示为[P1],...,[Pn1],[Q1],...,[Qn2],[M1],...,[Mn3]。答案词和令牌位置设置参考离散模板。尽管连续模板为模型提供了更多的自由度,但这些虚拟token的嵌入随机初始化,可能会引入一些歧义,导致 PLM 知识的未充分利用。本文进一步设计了一种混合模板,试图结合离散和连续模板的优点。

3)混合模板

在混合模板中,保留了位于<USER>和<CANDIDATE>前面的那些虚拟标记[Pi]和[Qj],自动搜索适当的格式将这些信息呈现给 PLM。使用 [MASK] 令牌代替虚拟标记[Mk]。如表所示,混合模板由一个连续模板、一个 [SEP] 令牌和一个自然句子组成。与连续模板相比,这种混合模板可以通过连续模板的虚拟标记享有更多选择,并由离散模板的自然句子指导答案方向。

(3)答案预测和词面实现

本文设计了表达生成器v(),将标签映射为PLM词汇表W中的两个答案单词:

NR任务被转换为一种填空式任务,预训练的MLM(例如BERT)预测答案单词作为[MASK]的概率。

(4)训练

(5)多提示集成

不同模板可能具有不同的优点,因为它们各自关注特定的因素,在PLM中利用语言和语义知识的方式不同。多提示集成将单个提示的预测合并以提高最终决策。由于没有关于哪个模板更好的先验知识,因此只需将每个提示中正向答案单词的概率相加作为最终排名分数。

其中,Pe是模板e的输出概率,是模板集合。文中考虑两种多提示集成的方式。一种是融合来自相同类型的模板的预测,其中={相关性,情感,行为,效用},离散集成是将四个离散模板的预测结果合并起来。另一种方式是融合不同类型的模板的预测,称为跨类型集成。

Experiments

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值