【CTR】《Towards Universal Sequence Representation Learning for Recommender Systems》 (KDD‘22)

《Towards Universal Sequence Representation Learning for Recommender Systems》 (KDD‘22)

序列推荐是根据用户点击过的item序列,学习出一个序列表征,然后根据表征预测下一个item,建模表征的模型有 RNN、CNN、GNN、Transformer、MLP等。

现有方法依赖于显式的商品ID建模,存在迁移性差和冷启动的问题(即使各个推荐场景的数据格式是完全相同的)。文章受预训练语言模型的启发,希望能设计一种针对序列推荐的序列表示学习的方法。

核心思想是利用:与商品相关的文本(如商品描述、标题、品牌等)来学习可跨域迁移的商品表示和序列表示。(模型可以在同一APP新的场景上快速适配、新APP上快速适配)。

核心技术主要靠MoE和动态路由。

解决的两个问题:1、需要将文本的语义空间适配到推荐任务中。2、跨domain的数据可能会冲突,导致跷跷板现象。

UnisRec模型

输入

用户点击过的item按照时间顺序排列 s = { i 1 , i 2 , … , i n } s=\left\{i_{1}, i_{2}, \ldots, i_{n}\right\} s={ i1,i2,,in},其中每个商品 i 都对应着一个id和一段描述性文本(如商品描述、标题或品牌)。商品i的描述文本可以形式化为 t i = { w 1 , w 2 , … , w c } t_{i}=\left\{w_{1}, w_{2}, \ldots, w_{c}\right\} ti={ w1,w2,,wc},其中 w j w_j wj 是共享的词表, c表示商品文本的最长长度(截断)。

  • 这里的商品序列是用户匿名的,不记录user id
  • 一个用户在多个平台、多个领域都会产生交互序列,每个domain的序列单独记录,混合在一起作为序列数据
  • 商品ID不会作为UniSRec的输入,因为商品ID跨domain是没有意义的。
  • 因此UniSRec的目的能够有 建模通用序列表征 的能力,这样的话就可以实现利用 微博 的序列数据在 淘宝 推荐

通用商品文本表示

基于预训练语言模型的商品文本编码

将商品文本输入BERT,用 [CLS] 作为序列表征:
x i = BERT ⁡ ( [ [ C L S ] ; w 1 , … , w c ] ) \boldsymbol{x}_{i}=\operatorname{BERT}\left(\left[[\mathrm{CLS}] ; w_{1}, \ldots, w_{c}\right]\right) xi=BERT([[CLS];w1,,wc])
x i ∈ R d W \boldsymbol{x}_{i} \in \mathbb{R}^{d_{W}} xiRdW 是 [CLS]的输出。尽管已经

Semantic Transformation via Parametric Whitening

在NLP领域有很多研究表明BERT生成的表示空间是非平滑且各向异性的,具体表现就是BERT输出的向量在计算无监督相似度的时候效果很差,一个改进措施就是把BERT的输出向量变成高斯分布,即让所有的向量转换为均值为0且协方差为单位矩阵的向量。

(也比较好理解,在BERT的预训练中完全没有显式的pairwise的优化Alignment和Uniformity)

这篇文章没有用预先算出来的均值和方差来做白化,为了在未知领域上更好地泛化,在将b和W置为可学习参数:
x ~ i = ( x i − b ) ⋅ W 1 \widetilde{\boldsymbol{x}}_{i}=\left(\boldsymbol{x}_{i}-\boldsymbol{b}\right) \cdot \boldsymbol{W}_{1}

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强噪声的理想时频表示方法主要是为了在频域和时域上准确地表示出噪声信号。在处理强噪声信号时,我们希望减小噪声对信号的影响,从而更好地分析和提取信号的特征。 首先,为了处理强噪声信号,可以考虑使用适当的滤波方法。例如,我们可以使用带通滤波器来去除噪声信号中的不必要的低频和高频成分,从而保留信号的主要特征。此外,还可以采用自适应滤波器来根据噪声信号的特性自动调整滤波参数,以更好地去除噪声。 其次,为了获得理想的时频表示,可以考虑使用一些先进的时频分析方法,如短时傅里叶变换(STFT)、连续小波变换(CWT)或多尺度分析方法(如小波包变换)。这些方法可以将信号在时域和频域上进行局部化处理,从而更好地反映信号的瞬时特性和频谱特性。 另外,为了进一步减小噪声对时频表示的影响,可以考虑使用一些去噪技术。例如,小波阈值去噪是一种常用的方法,它可以根据信号的小波系数大小来判断是否为噪声,从而去除噪声成分。此外,还可以使用基于机器学习的方法来训练和应用噪声模型,从而更准确地估计和去除噪声。 综上所述,针对强噪声的理想时频表示方法可以包括滤波、时频分析和去噪等步骤。通过有效地组合这些方法,我们可以更准确地分析和提取信号的特征,从而更好地理解和利用强噪声信号。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值