短视频内容理解和推荐算法比赛大揭秘

投稿：极链科技

作者：点心（AI实验室）

 

不知不觉，你是否发现身边的小伙伴们都在疯狂的玩抖音，刷微博，你的购物APP也变得越来越聪明，很了解你想要的东西，就连点个外卖，美团和饿了么都知道你想要吃什么呢？是什么黑科技让这些APP变得如此神通，能深深的吸引着你的目光和味蕾呢？其实，之所以你觉得它越来越聪明越来越懂你，当然少不了你跟它之间的亲密“沟通”，看似不经意的一次点击，一次停留，它都默默的记了下来，等待你的再次临幸。这位神秘的幕后主使就是我们今天要讲的——个性化推荐算法。目前它已经深入到互联网的各类产品中，也经历了数次更新迭代，变得越来越贴心了。接下来，我将通过一个近期我们参加比赛具体讲解一些其中的算法原理。

这次比赛是由今日头条主办的短视频内容理解与推荐竞赛，我们的成绩在大规模亿级的赛道中拿了第四名,千万级数据规模的赛道中第五名。这也是我们极链AI实验室首次尝试推荐算法。

首先，来讲讲什么是推荐算法。推荐算法大致可以分为三类：基于内容的推荐算法，协同过滤推荐算法和混合推荐算法。基于内容的推荐算法，原理是将用户喜欢和自己关注过的Item在内容上类似的Item推荐给用户，比如你看了复仇者联盟1，基于内容的推荐算法发现复仇者联盟2、3、4，这些与你以前观看的item在内容上有很大关联性。协同过滤算法，包括基于用户的协同过滤和基于item的协同过滤，其中基于用户的协同过滤是通过用户之间的相似性