爱奇艺视频推荐领域的ANN实践

本文内容来自于 由阿里云开发者社区 x 达摩院领航举办的3月20日向量检索专场Meetup讲师演讲内容
发表于“ AI 检索技术博客” 公众号

讲师介绍

张吉 爱奇艺深度学习云研发工程师

一、背景介绍

（一）推荐系统

推荐系统是现在互联网发展一个比较重要的基石，上图左边是爱奇艺手机端的应用，右边是 PC 端的 Web 页面。可以看到，很多剧都是通过推荐而来的，随着数据量的发展，用户的搜索习惯也改变了。原来用户有目的性搜索，如今更希望系统进行主动的智能推荐，提升用户体验，目前推荐系统在爱奇艺里占据重要地位。

（二）推荐系统框架

爱奇艺推荐系统框架分为三段，呈现漏斗型的结构。所有候选集即爱奇艺视频库，先过滤出一些当下热剧，然后建一个索引。通过召回阶段，将数据从百万量级筛选到千量级的规模，接着经过排序阶段，排出十量级的剧最后推送给用户。

本文主要分享的是基于 ANN 做的召回阶段，对于召回的要求是速度快和数据量大。

二、工程实践

（一）算法选型

算法选型选的是 YouTubeNet，做的是 User-Item 的召回，选取它是因为模型召回效果较好。它下边是一些用户的向量，通过拼接用户向量形成分类网络，最后分类出来的这一层对应爱奇艺的视频，最终形成 User-Item 的推荐，在训练阶段就是一个千百万级别的分类器。

最后的 Serving 阶段比较有挑战，因为召回阶段难以在线计算整个神经网络的推理，因此在Serving 阶段用 ANN 的方式，然后近似地把全连接之后的数据取 Topk 的过程，用 ANN 做近似。
我们把网络倒数第二层看做用户向量，分类里面矩阵的权重看做视频向量，

把网络倒数第二层看做用户向量，分类里面矩阵的权重看做视频向量，在计算的时候，假如是一个5维的用户向量，然后它跟视频向量做全连接乘法，最后得到的视频向量比如有100万条，则得出100万的视频得分，代表的是100万个视频。这时候再取一个 Topk，最后得到