题外话
我为什么要将我的论文笔记发出来？现在绝大多数论文都能够免费下载，既然人家能够读到原文，又为什么要花时间看你的读书笔记这种“二手货”？
打个比方，除了相声，我也非常爱听郭德纲的评书。以前，大家喜欢听书，是因为大多数老百姓不识字。那么现在，大多数年轻听众的文化水平要比郭先生高多了，为什么不买本书自己看故事，反而还要花钱、花时间听他说书？郭先生说的好，「听书听得就是说书人的阅历和见识」。阅历和见识，都需要时间的积累和打磨，它们不等同于知识，更不等同于学历，是书本上没有的，也是大多数年轻人所稀缺的，所以“说书”这门艺术会长久不衰（可能会换个包装，比如“晓说”之类的脱口秀）。
回到我自己身上，论对业界的贡献，我不及那些作者的万分之一，毕竟人家是原创，我是拾人牙慧。那大家看我点评论文的意义在哪里?
「现在的论文太多了，多到我们根本读不过来，多到我们不知道那篇文章才是能够解决我们面临问题的“灵丹妙药”」，因为每篇文章都是“王婆卖瓜”，宣称自己的实验结果远超基线好几个点。而且「绝大多数论文都像八股文一样，通篇读下来，才发现干货只有那么一点点」。曾经的我，遇到问题找论文时，看每篇都爱不释手，茫然不知道该拿哪篇来复现。只好看网上哪篇的呼声最高，看哪篇最新，看哪篇作者的来头大，就拿过来，照猫画虎地复现一遍。看看，这场景像不像在股市里听小道消息，跟风买股票。好在如果选论文选错了 ，只不过错付了几个不眠之夜，后果不像被割韭菜那么严重。
所以，我希望我的论文点评，能够起到帮初学者快速筛选论文的目的，节省他们的时间与精力。就像听书听的是说书人的阅历一样，我的点评正来源于，我过去趟过的雷、踩过的坑。
对于论文的作者，我表达我的敬意，如果发表的观点有谬误，也是本人才疏学浅所致，无意冒犯；对于我的读者，我希望我的点评能提供一个不同于原作者的视角，能让你快速了解一篇论文的优点与缺点，如果你感觉对你有帮助，请再移步原文仔细阅读之。
前言
今天点评的论文是阿里发表于SIGIR ’20的论文《ESAM: Discriminative Domain Adaptation with Non-Displayed Items to Improve Long-Tail Performance》，主要解决召回中如何处理“未曝光”item的问题。
读过我的《负样本为王》一文的同学，都已经明确了一个基本概念，“「不能照搬排序模型做召回」”。这是因为排序模型，是用“曝光过的样本”训练出来的，而召回所面对的百万、千万级的候选item，绝大多数是从未被曝光过的。这二者之间存在Sample Selection Bias (SSB)。
所以，训练召回模型时，最重要的事是让召回模型“开眼界、见世面”，所以绝对不能（只）拿“曝光未点击”做负样本，绝大多数的负样本是通过随机采样得到的。另外，在所有候选item之间平均采样得到的是easy negative，训练模型时没有“挑战性”。所以，增加hard negative已经成为业界的共识，像百度的Mobius, Facebook的EBR, Pinterest的PinSAGE, 阿里的IntentGC中都特别强调了hard negative的重要性。
痛点
到目前为止，这种通过优化负样本的生成策略来优化召回性能的方式，so far so good。但是，在我看来，这种方式还有两个问题，尚未解决：
hard negative怎么选？
无论哪种生成策略，hard negative的基本思路就是要选那些“「能够契合用户兴趣，但是契合程度不太强」”的item作为hard negative。但是你不觉得这是一个悖论吗？既然它们能够契合用户的兴趣，那又为什么拿它们当负样本呢？所以「难点就在于'契合程度不太强'这个标准太模棱两可，难于把握」。比如Facebook EBR是拿上一次的模型对所有候选item打分，排名太靠前的属于正样本，太靠后的属于easy negative，只有排名中间的才属于 hard negative。但是我们怎么知道哪个区间属于“中间”，是300~500，还是1000~2000。弄不好，就可能将本来能够讨用户喜欢的item当成 hard negative，对于模型反而有害。
另外，像Facebook EBR，需要用上一步训练出的模型对所有候选item打分，好选取排名中间的那些item作为hard negative，计算量太大了。
"曝光未点击"怎么处理？在《负样本为王》一文中，我根据我做过的实验，将“曝光未点击”样本称之于鸡肋，建议弃之不用。对于这一观点，就有很多同学在留言中表示反对，声称在他们的实验中，增加“曝光未点击”做负样本，对于模型性能有正向使用。唉，“曝光未点击“变成了“薛定谔的样本”，我该拿你如何是好？
ESAM：迁移学习的新视角
我们先将以上痛点放一放，让我们先看看阿里的Entire Space Adaptation Model (ESAM)是怎么做召回的。ESAM从迁移学习的新视角来看待Sample Selection Bias，它将所有候选item划分成两个域：
Source Domain：由曝光过的item组成，它们有label（e.g., 点击与否）
Target Domain：未曝光过的item，占候选集的绝大部分，它们没有label，我们不知道用户是否喜欢它们
Base Model
因为只在曝光过的item上才有label，所以BaseModel也只在source domain上训练
用q代表用户输入，在推荐系统中q表示用户画像、用户历史，在搜索中q表示用户输入的关键词。有一个映射函数 将q映射成向量，
用d代表item，有映射函数 将其映射成向量，
评分函数 来评估q与d之间的匹配程度， 。因为是做召回，所以 一般是两个输入向量的dot product或cosine，方便线上在FAISS里面做近邻检索。
拿q与d之间的匹配得分 与label就可以计算point-wise cross-entropy loss " "
注意，这个模型是在source domain上训练出来的，效果如下图所示：
图中的方块、三角、圆点是三类拥有不同的user feedback的item，比如被忽略、点击、购买的商品
图中的"Y"字就是学习出来的召回模型，可以发现它将蓝色的方块、三角、圆点划分得非常好，说明它能够区分不同的user feedback，但是只是在“曝光过的样本”上
这就与Y的真实目的，“区分绝大多数未曝光item”，即划分图中红色的方块、三角、圆点，南辕北辙。
图中的每个方块、三角、圆点代表映射后的item embedding，即 。因为 是只用“曝光数据”训练得到的，因此当 套用于“未曝光数据”上时，发现“曝光item”embedding空间（蓝圈）与“未曝光item”embedding空间 （红圈）相差太远。
这种分布空间上的差距（蓝圈与红圈的不重合）造成了在“曝光item”上训练出来的召回模型，上线后，作用于大量的“未曝光数据”后，表现得一塌糊涂。
Domain Adaptation with Attribute Correlation Alignment
ESAM作者认为，问题在于：「因为只有曝光item才有label，所以只能在曝光item上训练“item映射函数” ，导致学习出来的 会将“曝光item”和“未曝光item”映射到向量空间中相距较远的两个区域，使训练出来的召回模型在面对大量“未曝光item”时失效」。所以，当务之急是学习一个新的 可以将"曝光item"与“未曝光item”映射到同一片向量区域。
ESAM的思路是：
“曝光item”与“未曝光item”的特征之间的关系是一致的。比如，无论曝光与否，奢侈品牌的价格都要比普通品牌的价格要贵。如下图左所示。
以上举例是发生在原始特征之间，ESAM认为经过 的映射，“曝光item”与“未曝光item”的高阶特征(embedding的不同维度)之间的关系，也应该保持不变。所下图右所示。
【偏题小扛一下：“曝光item”与“未曝光item”相比，不同特征之间的关系一定一致吗？可能也不尽然。
因为“曝光与否”是由线上已有的推荐系统决定的。而线上系统是为了达成某一业务目标（比如促进成交）而设计的
比如，有曝光机会的商品，价格与质量之间的关系，大多数应该是“物美价廉”
而那些没有曝光机会的商品，不排除有些商品就是“价高质差”，与曝光item不同特征之间的关系截然相反。
所以“attribute correlation”能否成立，未必放之四海而皆准，需要读者实践时再仔细斟酌。】
回到Attribute Correlation Alignment，假设对于每个query "q"
我们收集了n个“曝光item”(来自source domain)和用户对它们的反馈。这n个item经过 映射，映射成 ，L是embedding的维度
我们再随机抽样n个“未曝光item”（来自target domain），它们经过 映射，映射成
我们要求： 的L维高阶特征的两两之间（ 和 ）的协方差，与 的L维高阶特征的两两之间( 和 )的协方差，两者之间的差值尽可能小
当我们的优化目标是 (source domain上的point-wise cross-entropy loss)+ 时，优化效果如下图所示
我们发现，相比只有 时，增加了 辅助task，学习到的映射函数 的确能够将“曝光item”与“未曝光item”都映射到同一篇区域，即图中的蓝圈与红圈重合
学到的召回模型，仍然能够将不同feedback的“曝光item”区分开。即图中的Y，能够区分蓝色的方块、三角、圆点。
但是"未曝光item"经过 映射，红色的方块、三角、圆点却没有蓝色方块、三角、圆点那么清晰的区域性，红色的方块、三角、圆点杂乱分布在圈内
这是因为 只是不同特征的协方差在source/target两域的差值的总和，这个限制还是太粗粒度了。假如，只有一对特征之间的协方差在两个域之间相差比较大，但是其他对的协方差减值都比较小，最终的 仍然会比较小，但是却足以导致红色方块、三角、圆点之间的相对位置与蓝色方块、三角、圆点之间的相对位置，截然不同。
Center-Wise Clustering for Source Clustering
为了弥补 的限制太粗粒度的不足，ESAM的第一个方法就是「改善source domain中不同feedback的item的分布，使之”高内聚、低耦合“」。因为target domain中item embedding的分布，通过 模仿source domain，所以我们“期待”target domain中item embedding的分布也能够”高内聚、低耦合“。
为实现以上目标，增加 的辅助task，注意这个task是针对source domain的。具体公式细节请参见原文中的公式(5)和公式(6)
公式中的第1项是为了达到“同一类feedback中的item embedding”要“高内聚”的目标，其中 代表属于某个feedback的所有item embedding的平均，作为这一类feedback的item embedding的中心
公式中的第2项是为了达到“不同类feedback的item embedding”要“低耦合”的目标，表现在不同feedback的item embedding的中心要尽可能远
增加了 作为辅助task之后，效果如下图(c)所示
可以发现在source domain，不同feedback的item(蓝色的方块、三角、圆点)分离得更加清晰了
因为target domain模仿source domain，所以在红色方块、三角、圆点在空间上也分离得更加清晰了
可惜的是，不像蓝色，红色方块、三角、圆点并不是按照feedback分离的，红色方块、三角、圆点混杂在一起。所以召回模型(图中的Y)还是无法将不同feedback的“未曝光item”（红色方块、三角、圆点）区分开
Self-Training for Target Clustering
「如果我们能够在target domain中也像source domain中一样根据feedback进行聚类就好了，但是难点在于，在target domain中的item，没有曝光机会，我们压根就不知道用户对它们的feedback。」
ESAM想出了一个非常巧妙的方法来解决这一难题，就是增加“「伪label」”：
训练中，如果根据当前模型，query "q"已经与某“未曝光item”的匹配得分相当低了（小于阈值 ），我们就认为这对< >是负样本，接下来的训练中，< >得分要变得越来越小，趋近0
训练中，如果根据当前模型，query "q"已经与某“未曝光item”的匹配得分相当高了（大于阈值 ），我们就认为这对< >是正样本，接下来的训练中，< >得分要变得越来越大，趋近1
第二个巧妙的地方在于，「具体实现时，ESAM并不需要动态修改label。因为修改label的目的，仅仅是为了接下来的优化指明方向」，所以ESAM使用如下辅助task达到同样的效果
是当前模型预估query与某“未曝光item”的匹配得分
是condition function，表示「这种"伪label"只在预估的匹配得分太高或太低，即模型有充分自信时，才添加」
公式的主体是 的形式。这是因为-plogp具备如下形状，「当p过高时，其梯度能够使之快速趋近于1，而在p过低时，其梯度能够使之快速趋近于0。正是我们所希望的添加"伪label"的效果。」
至此，所有辅助任务添加完毕，（预期）效果如下图(d)所示。
“未曝光”item，即图中的红色三角、方块、圆点，也按照它们unknown but ground-truth的feedback聚类在一起，聚类位置与蓝色的三角、方块、圆点的位置重合
从而保证了，用“曝光”item训练出来的召回模型（图中的Y），既能区分不同user feedback的“曝光”item（蓝色），更重要的是，也能够区分不同feedback的"未曝光"item（红色）
总体方案
将以上介绍的各task组合起来，总体公式如下所示
算法流程示意图如下所示：
q代表用户（e.g., 用户画像或者用户输入的关键词），通过函数 映射成向量
代表source item, 即“曝光过”item，通过函数 映射成
代表target item，即“未曝光过”item，通过函数 映射成
: 先由用户输入q、"曝光样本" 计算出匹配得分 ，再和用户feedback计算出来的loss
：用来实现Attribute Correlation Alignment，即，item的高阶特征（item embedding的不同维度）之间的相对关系，应该在source domain和target domain保持一致
：在source domain根据用户feedback聚类，目的是为了使属于同一类feedback的item embedding实现“高内聚、低耦合”，从而间接实现在target domain内item embedding的“高内聚、低耦合”
：在target domain也希望能够根据feedback聚类，但是因为"未曝光"item根本没有feedback，所以通过self-training的方式给高置信度的item添加"伪label"，从而在target domain也实现item embedding的“高内聚、低耦合”
点评
我赞同作者的作法，但是不认同作者的立论
作者认为之所以拿“曝光”item训练出来的模型不能用召回，是因为曝光的都是热门item，使训练出来的"item特征映射函数" ，在“未曝光”item上水土不服。「所以，“错”只在 身上，最初添加的Attribute Correlation Alignment任务 也只涉及 」。只不过发现只有 达不到效果，才添加了 和 作为“正则”。换句话说， 为主， 和 为辅。
这个观点，我是不敢苟同的。如我在《负样本为王》中说过，训练召回模型最重要的就是让其“开眼界，见世面”，其中就包括“user映射函数” 。在BaseModel中，通过计算 ，让 见识过“曝光”item了。所以「最重要的是让 多见识一些“未曝光”item」。如果ESAM止步于只添加了 ，那么 就无缘见识那些“未曝光”item了。好在作者添加的 涉及到计算 ，弥补了这一缺陷。
买椟还珠
综上所述，我赞同作者的作法，但是认识的重点不同。
作者认为ESAM中贡献最大的是，基于Attribute Correlation Alignment实现的辅助任务
而我认为贡献最大的、让我眼前一亮的是「通过Self-Training给“未曝光”item打上“伪标签”的作法」，以及作者「通过-plogp（i.e., entropy regularization）的巧妙实现方式」。
为什么self-training这个ESAM中的配角，让我觉得如此重要？还记得我在文章的一开始据说的，训练召回模型时的hard negative采样策略是一大痛点吗？这个痛点来源于两方面：
hard negative本来就是那些“能够契合用户兴趣，但是契合程度不太强”的item，“不太强”这个标准太模棱两可了
某些比较精细的hard negative策略，需要给全部候选item打分，以选取得分居中的那些样本当hard negative，这个计算最太大了（实际工程实现时会有所优化）。
而ESAM中通过self-training给“未曝光”item打上“伪标签”的作法，恰恰解决了以下两个痛点：
我们「不再需要制订一个硬规则决定哪些item属于hard negative」（比如排名在400~600之间的？为什么不是500~700?），而是「让模型自己去学习那些“未曝光”item的label」。
训练中，如果根据当前模型，query "q"已经与某“未曝光item”的匹配得分相当低了，给这对< >打上"伪负"标签，接下来的训练中，< >得分会变得越来越小，趋近0；
训练中，如果根据当前模型，query "q"已经与某“未曝光item”的匹配得分相当高了，给这对< >打上"伪正"标签，接下来的训练中，< >得分会变得越来越大，趋近1。
我们「不需要在训练之外，额外将“所有”候选item都打一遍分。筛选出那些可信的item，并给它们打上"伪负"或"伪正"标签，作为一个辅助task，是与主目标同步进行」。这个辅助task是-plogp形式的，公式非常简单，计算开销非常小。
所以，在我看来，「通过self-training给“未曝光”item打上“伪标签”的作法，属于一种自适应的hard negative采样策略，才是这篇文章最大的亮点」。我计划在我的召回项目中也实现self-training，相当于留下ESAM的“盒子”，把作者认为的ESAM的“珍珠”—Attribute Correlation Alignment还给作者。
扫一扫
2413
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
