【推荐系统】AITM笔记

一、paper 记录

排名机制，大概意思
首页有个广告位，但不同的业务之间需要竞争这个位置。
当一个用户来了（流量），需要最大化利益，就是给这个用户展示哪个广告。
也就是排名机制。
y: 每个业务预测的用户对该业务的转化率；
weight: 用户本身价值，以及用户对业务的价值。

我们对 𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 负样本进行下采样，以保持训练集中正样本的比例 𝜆 分别
为 [0.025%, 0.05%, 0.125%, 0.25%, 0.5%, 1%, 2.5%, 5%]，

负样本下采样不能采太多。
1. 如果受众目前没有申请信用卡，并不意味着他们将来不会申请该卡，所以我们不能使用太多的负样本进行训练。 
2.当𝜆太大时，模型的性能急剧下降。 这是因为太多的负样本信息丢失了。 
3. 对负样本过度下采样也会导致正样本丢失。 

二、代码记录

主要代码分析：https://github.com/easezyc/Multitask-Recommendation-Library/tree/main
- 一个多任务的库，但这个库没行为校准

改了一下loss，添加行为校准。见：https://github.com/adtalos/AITM-torch/blob/master/python/model.py
- 但2023/11/24 周五，没改成功。

官方代码：https://github.com/xidongbo/AITM/blob/main/AITM.py
paddle代码参考：https://zhuanlan.zhihu.com/p/521547173

MMOE
Expert-Bottom 模式的主要思想是控制 Expert 模块如何在多任务模型底部的所有任务之间共享，而 Tower 模块 顶部分别处理每个任务。