头条召回算法-深度检索

文章重点：路径优化中，loss是怎么算的？是怎么优化的(em算法)？线上是怎么用的(beam search)

论文链接：https://arxiv.org/pdf/2007.07203.pdf

ppt介绍链接(百度网盘)：暂停

一些基础的介绍可以看下面两篇文章：字节跳动Deep Retrieval召回模型笔记_abcdefg90876的博客-CSDN博客

大规模推荐Deep Retrieval - 知乎

1：ANN算法介绍

ann搜索算法（Approximate Nearest Neighbor） - 合唱团abc - 博客园

 下面主要是讲解KD树、矢量量化方法这两个知识点

KD树简介 - 知乎

ANN 之 Product Quantization - 知乎

ann搜索算法（Approximate Nearest Neighbor） - 合唱团abc - 博客园

 

 

2：MIPS算法介绍(Maximum Inner Product Search)

最近邻搜索(NN)、最大内积搜索（MIPS）与(A)LSH算法 - 知乎

3: 深度召回DR算法 Deep Retrieval 

D层，每层K个节点（每个节点就是一个候选item，K应该是全部item数量）

 第一个累加N是N个item，第二个累加J是J个path(每个item在J个path中)

 下面有个em算法讲解的好的视频(在优酷上也能搜到)：18分钟理解EM算法https://m.baidu.com/video/page?pd=video_page&nid=11346746330445539320&sign=17985137081996769464&word=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&oword=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&atn=index&frsrcid=5377&ext=%7B%22jsy%22%3A1%7D&top=%7B%22sfhs%22%3A1%2C%22_hold%22%3A2%7D&sl=4&trace=8767025049303041722&isBdboxShare=1&isBdboxShare=1

 EM算法详解 - 知乎

 (1) 上面的p(xi, zi | Θ)，zi是个隐变量，和xi在一起可以这样理解，xi是身高175.5 同时带着zi=0.3的概率可能，任何一个样本都带着这个概率

上面的那些 i 代表第 i 个样本

Qi(zi)是第i个样本的隐变量的概率分布

 (2) 将 p(xi, zi | Θ) / Qi(zi) 看做一个整体，Qi(zi) 因为概率分布，所以累加起来为1，相当于对这个整体求平均，就可以用到 Jensen不等式 进行化简

 

了解了em算法后，用em来优化上面的目标函数，主要讲解E M两步

E

 

 M