#Paper Reading# Learning to Warm Up Cold Item Emb for Cold-start Reco with Meta Scaling and Shifting

论文题目: Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks
论文地址: https://arxiv.org/abs/2105.04790
论文发表于: SIGIR 2021（CCF A类会议）
论文所属单位: 中科院计算所

论文大体内容：
本文主要提出了MWUF（Meta Warm Up Framework）框架，用于解决冷启动id embedding问题；

Motivation：
①cold id embedding与模型存在gap，模型不能很好的承接完全冷启动的id embedding；
②cold id embedding容易受到噪音影响，导致学习不好；

Contribution：
①提出MWUF框架进行优化cold id embedding；
②MWUF容易应用到线上推荐系统；
③实验证明有收益；

1. 冷启动分为2个阶段：
①纯冷启阶段：cold-start phase (zero sample)；
②warmup阶段：warm-up phase (a few samples)；
本文只将冷启item放入MWUF，而不影响热item，主要focus在warmup阶段的优化；

2. 本文提出2个Meta网络来解决id embedding冷启问题，主要是建模冷启id embedding转换为热的id embedding的过程。
①本文作者认为冷启动item的id embedding转化到warm的id embedding的方式跟item feature有关，如类似的垂类之间的视频id embedding有类似的收敛之路，从而提出Meta Scaling Network来代表这个过程；
②有研究表明与视频交互过的作者的avg embedding也能代表视频，且能够减轻噪音对embedding学习的影响，所以本文提出Meta Shifting Network来代表这个过程；

3. 2个Meta网络的训练过程如下：
①全部数据pre-train一个模型；
②获取一个batch的新item v；
③v经过2个Meta网络，得到v_warm；
④v和v_warm对应2个loss：L_cold、L_warm；
⑤sgd更新Meta网络；
 

 
实验
4. Dataset
①MovieLens-1M
②Taobao Display Ad Click
③CIKM2019 EComm AI

5. Baseline
①FM；
②W&D;
③PNNs；
④DCN；
...

6. Metric
①AUC；
②RelaImpr（(AUC_exp - 0.5) / (AUC_base - 0.5) - 1）；

7. 训练过程与论文[1]一样：
①使用老id的数据训练整个模型；
②用整个训练数据训练Embedding生成器；
③新id随机初始化embedding；
④在testset计算效果；
⑤模拟warmup过程：使用batch-a训练并更新新id的embedding；
⑥在testset计算效果；
⑦模拟warmup过程：使用batch-b训练并更新新id的embedding；
⑧在testset计算效果；
⑨模拟warmup过程：使用batch-c训练并更新新id的embedding；
⑩在testset计算效果；

8. 实验结果

参考资料： 
[1] https://blog.csdn.net/John159151/article/details/119333779

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！