当推荐系统遇上多模态Embedding

在微信视视频号推荐算法大赛中，给出来融合了OCR、ASR、图像、文字的多模态的内容理解特征向量Feed Embedding，共512维向量。对于给定的一定数量到访过微信视频号“热门推荐”的用户，根据这些用户在视频号内的历史n天的行为数据，通过算法在测试集上预测出这些用户对于不同视频内容的互动行为（包括点赞、点击头像、收藏、转发等）的发生概率。

可见，多模态Embedding在推荐系统后续发展中的重要性，在本文之前，炼丹笔记也探讨类似的问题，包括《推荐融合GNN，图谱、多模态竟取得了如此惊艳的效果》和《多模态推荐之用户评论篇》，新关注的同学对具体细节感兴趣的可以直接点击标题跳转了解。