向量内积召回

向量召回的目标

1：内积时既考虑到了相关性、又考虑到了兴趣，所以这就是前两个目标

2：有的还会考虑rpm最大化

3：有的团队还会在训练模型时，loss上加入点击loss、下单loss、相关性loss等目标

一、基础的向量召回就不简述了

就是使用精排的样本，然后形成两个塔，一个用来训练user向量，一个用来训练item向量，然后内积相乘再反向梯度传播，训练出来模型后，不管是离线刷出来所有user/item的向量保存起来，还是线上实时计算这两个向量，再采用ann的思路进行大范围快速检索得到结果

二、阿里全链路召回 - LDM（Learning to Rank based Deep Match Model)

原文链接：阿里广告技术最新突破：全链路联动-面向最终目标的全链路一致性建模 - 知乎

1：这篇文章中讲了两个召回思路其中一个就是ldm，是以学习后链路（精排）的序为目标

优点，1：以序为目标，而不是精准值，这样会节省一部分算力；2：召回模型本身就比较简单，如果以精排模型产生样本的点击与否进行学习，不如以学习序来得直接，更简单一些

详细做法

这篇文章没有详细讲解如何以序来召回的详细做法

猜测1：根据博主经验，对比pointwise pairwise listwise这三种训练架构来看（这里有篇很好的文章 推荐- Point wise、pairwise及list wise的比较 - 知乎），大概率是采用的listwise的办法，训练时以ndcg（搜索评价指标——NDCG - 胖喵~ - 博客园）为loss指标，但是这样复杂度会很高，可能他们还做了特殊的优化解决了这个问题

猜测2：设置参数，序大于n设为正样本，小于n设为负样本，这样就又和普通的向量训练模型一致了，大概率是这样

2：召回和精排联动，一起进行训练，面向任意目标的向量召回技术PDM（Point based Deep Match Model)

实验开始：直接使用精排的曝光点击样本训练一个双塔结构的向量内积模型效果很差。曝光点击样本和召回面对的全库样本有很大的差异，样本选择偏差问题

最终定论：样本上选择精排时的曝光、点击、未展示三种样本

(1) 联合训练，共享一部分embedding，召回和精排都只用曝光、点击两部分的loss来回传梯度，这里感觉写的有点错误，精排还能理解，但是召回都不适用这部分回传梯度的话，要他有啥用

(2) batch内随机负采样，给每个正样本都随机选k个ad向量，和user向量拼在一起组成随机负样本，这样可以提升模型对简单负样本的区分能力。为了不影响pctr预估精度，这部分会再次引入一个塔，专门用来引入随机负样本来进入交叉熵loss，而正常的那个就输出pctr就好

(3) 对于“未展示”样本，会用精排模型来指导训练，是为了提升两个模型在召回空间上的打分一致性，但是这部分样本的梯度要对精排stop

三、有的团队在训练向量召回模型时，假如是一个点击场景吧，他可能只用点击样本（也就是只用正样本）

这种情况，可能就是像前面说的“batch内随机负采样”这种方法吧

四、多模态，就是训练loss不止是一个目标，也是淘宝一个团队提出来了，这里直接贴图吧