推荐系统实践——阿里B2B

本文参考 DataFunTalk

发展历史

商品召回

1. I2I召回和U2I召回

2. Deep Match U2I召回

在Youtube Deep Match的基础上，基于序列上下文的Attention，构建用户表征，即通过时间衰减/行为类别/停留时间等信息对用户序列进行建模，模型的结构图所示

排序

1. DIN
   
   DIN是显性的用户表征学习，对Behavior和Candidate引入了Attention使得用户表征随着候选的不同而发生变化
   
   用户长期兴趣偏好 ( 广告区别于推荐 ) 词袋模型， 序列不敏感(对最近的行为无额外偏好)没利用 raw feature
2. LSRMM
   
   提出了LSRMM ( Long Short-Range Mixture Model )，该模型能够去抽取一个长期的用户偏好。这个兴趣偏好不是整个end to end学出来的，而是直接通过离线的方式统计出用户在各个时间是否都对于一个特定的类别的东西有一个偏好。比如说像我喜欢羽毛球，那在候选中会额外的出现羽毛球
3. DIEN
   
   为什么我们没有直接上DIEN而是用了DIN呢，主要原因就在于DIEN在用户表征里有两层GRU的结构，用GRU跑起来是一个串行的结构，它不能并行。我们预估起来它这个耗时是比较厉害的，存在一定的上线的工程风险，所以我们在这边就是先上的DIN再上的DIEN
   
   
4. DMR：Deep Match to Rank
   
   DIN和DIEN都是聚焦用户兴趣的建模，而DMR又往前走了一步，对u2i相关性进行建模，这个相关性可以直接衡量用户对商品的偏好程度，从而提升模型的效果。这个u2i相关性是无法通过统计的方法得到的，因为通常不会给用户推荐重复的商品；也无法从召回得到，因为通过是有多路召回，每路召回的相关性不能相互比较
   
   DMR提供了一个统一的任意u2i相关性的建模方法。DMR中采用两个子网络建模u2i相关性，其中User-to-Item Network直接通过user和item的向量内积建模u2i相关性，并用一个辅助的deepmatch任务联合训练，促使更大的内积表征更强的相关性，从而提升效果。Item-to-item网络采用间接的方式建模u2i相关性，类似于DIN的网络，我们先做一个target attention，这个attention权重可以理解成i2i权重，再将权重求和得到第二种u2i相关性。DMR提供了一个u2i相关性建模的范式，可以很方便的加入到其他深度模型中

内容推荐

1688团队从2019年开始大规模的去做直播业务

商品和商家的直播之间还是不一样的，有很多商家日常商品经营做的好的，未必就是直播做的好的。所以在这里它是一个内容的异构网络

1. 直播排序迭代V1: 特征工程+机器学习
   
2. 直播算法迭代V2：深度学习双序列模型 + 多目标学习 (Multi Seq MTL Model)
   
3. 直播算法迭代V3： Item到Live异构行为激活 ( HIN Attention )
   

未来工作

这部分是我们预期在未来进行的工作

1. 粗排网络：

同时开播业务体量达到⼀定量级后， 基于双塔向量召回的粗排模型

2. 多目标学习MTL：

• MMOE结构，多个Expert Net建模不同目标，多业务场景已验证有效

• 多目标级联的Bayesian Net结构优化

3. 异构网络HIN：

• 引⼊更多关系（如粉丝关注） 的预训练向量，也可⽤于召回和商业化的商品分销

• 端到端的HIN2Rec建模， 如直接在模型中直播间本次讲解的多个商品去实时表征直播

4. 内容理解：

• 业界正在探索的⽅向， 还没有很成熟的落地