（13）工业界推荐系统-小红书推荐场景及内部实践【用户行为序列建模】

（1）工业界推荐系统-小红书推荐场景及内部实践【业务指标、链路、ItemCF】
（2）工业界推荐系统-小红书推荐场景及内部实践【UserCF、离线特征处理】
（3）工业界推荐系统-小红书推荐场景及内部实践【矩阵补充、双塔模型】
（4）工业界推荐系统-小红书推荐场景及内部实践【正负样本选择】
（5）工业界推荐系统-小红书推荐场景及内部实践【线上召回和模型更新】
（6）工业界推荐系统-小红书推荐场景及内部实践【其他召回通道】
（7）工业界推荐系统-小红书推荐场景及内部实践【冷启动问题1】
（8）工业界推荐系统-小红书推荐场景及内部实践【冷启动问题2】
（9）工业界推荐系统-小红书推荐场景及内部实践【排序模型】
（10）工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
（11）工业界推荐系统-小红书推荐场景及内部实践【粗排三塔模型】
（12）工业界推荐系统-小红书推荐场景及内部实践【交叉结构】

LastN特征

• LastN:用户最近的 𝑛 次交互(点击、点赞等)的物品ID。
• 对 LastN 物品 ID 做 embedding，得到 𝑛 个向量。
• 把 𝑛 个向量取平均，作为用户的一种特征。
• 适用于召回双塔模型、粗排三塔模型、精排模型。
  

Deep Neural Networks for YouTube Recommendations

DIN模型

• DIN 用加权平均代替平均，即注意力机制 (attention)。
• 权重:候选物品与用户 LastN 物品的相似度。
  
• 对于某候选物品，计算它与用户 LastN 物品的相似度。
• 以相似度为权重，求用户 LastN 物品向量的加权和，结果是一个向量。
• 把得到的向量作为一种用户特征，输入排序模型，预估(用户，候选物品)的点击率、点赞率等指标。
• 本质是注意力机制(attention)。
  
  
  

Deep interest network for click-through rate prediction

SIM模型

Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction

DIN模型的缺点

• 注意力层的计算量 ∝ 𝑛(用户行为序列的长度)。
• 只能记录最近几百个物品，否则计算量太大。
• 缺点:关注短期兴趣，遗忘长期兴趣。

如何改进DIN?

• 目标:保留用户长期行为序列(𝑛 很大)，而且计算量不会过大。
• 改进 DIN:
  • DIN 对 LastN 向量做加权平均，权重是相似度。
  • 如果某 LastN 物品与候选物品差异很大，则权重接近零。
  • 快速排除掉与候选物品无关的 LastN 物品，降低注意力 层的计算量。

SIM

• 保留用户长期行为记录，𝑛 的大小可以是几千。
• 对于每个候选物品，在用户 LastN 记录中做快速查找，找到 𝑘 个相似物品。
• 把 LastN 变成 TopK，然后输入到注意力层。
• SIM 模型减小计算量(从 𝑛 降到 𝑘)。

第一步 查找

• 方法一:Hard Search
  • 根据候选物品的类目，保留 LastN 物品中类目相同的。
  • 简单，快速，无需训练。
• 方法二:Soft Search
  • 把物品做 embedding，变成向量。
  • 把候选物品向量作为query，做 𝑘 近邻查找，保留 LastN 物品中最接近的 𝑘 个。
  • 效果更好，编程实现更复杂。

第二步 注意力机制

使用时间信息

• 用户与某个 LastN 物品的交互时刻距今为 𝛿。
• 对 𝛿 做离散化，再做 embedding，变成向量 𝐝。
• 把两个向量做 concatenation，表征一个 LastN 物品。
  • 向量 𝐱 是物品 embedding 。
  • 向量 𝐝 是时间的 embedding。
    

为什么 SIM 使用时间信息?

• DIN 的序列短，记录用户近期行为。
• SIM 的序列长，记录用户长期行为。
• 时间越久远，重要性越低。