知人知面需知心——论人工智能技术在推荐系统中的应用

作者：洪亮劼，Etsy数据科学主管，前雅虎研究院高级经理。长期从事推荐系统、机器学习和人工智能的研究工作，在国际顶级会议上发表论文20余篇，长期担任多个国际著名会议及期刊的评审委员会成员和审稿人。
本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2016年《程序员》

在电子商务、个性化阅读、社交网络（媒体）以及共享经济高速发展的今天，发现用户的需求、了解用户的行为并为用户筛选出最相关的信息和产品已经是互联网服务的一个核心环节。互联网上的信息是海量的：YouTube用户每分钟上传超过400小时的视频；微信上超过1000万个公众账号每天产生丰富的自媒体内容；Instagram用户每天贴出超过800万照片；Snapchat用户每天生成5亿多“故事”（Story），全部看完需要158年……类似的例子数不胜数。因此，在帮助用户寻找信息，帮助服务商寻找客户的环节，推荐系统扮演了举足轻重的地位。一方面，推荐系统从互联网应用的配角成为了诸如雅虎、LinkedIn和Netflix等大型网站的主角，为用户和系统交互提供各类个性化服务。时至今日，已经很难想象一个新的互联网应用没有利用推荐系统来优化用户体验。另一方面，从早期的协同过滤（Collaborative Filtering）算法到由Netflix大赛所推动的隐语义模型（Latent Factor Models），再到更加复杂的深度学习模型，推荐系统的技术已经在过去十多年里有了长足的进步。推荐系统的最终目标也从准确预测用户的喜好，逐渐演变成在用户、模块以及系统中达到动态平衡，使得整个系统健康运行。本文尝试从历史的角度，剖析人工智能技术在推荐系统中的应用，探索前沿课题以及未来的发展方向，让读者能够了解到技术发展的宏观过程。

“人工”和“非智能”时代

在算法及模型在推荐系统领域占有统治地位之前，据有领域知识（Domain Knowledge）的专业编辑往往充当“人工推荐系统”的角色，主观选择并推送出用户可能喜欢的内容。“人工推荐”的好处在于能够高质量地定制内容。很多传统内容媒体（如《纽约时报》、《华尔街日报》）的核心竞争力就是依靠一批高水平编辑精心撰写和推荐内容，从而能够常年吸引了大批订户。今天，微信公众号所呈现出的自媒体现象，本质上也是“人工推荐”在移动互联网时期的再次蓬勃发展。后来，一些优秀推荐系统，比如雅虎首页的“今日模块”（Today Module），将“人工”和“机器算法”相结合，在编辑们每天优选出一百篇左右高质量文章的基础上，由系统采用“联系上下文的多臂老虎机”（Contextual Multi-Armed Bandit）算法平衡Exploitation与Exploration，极大地提升了推荐效果。由此可见，“人工”和“机器算法”的协调使用常常能够弥补彼此的不足。

实际上，早期的推荐系统更多依靠一些从直觉引导出的简单模型或者算法。比如基于信息检索（Information Retrieval）的推荐思路，把用户信息当作是查询词组（Query），用各类信息来把待推荐物品（Item）表达成“文档”（Document）。于是，推荐最相关的一组物品的问题就被转换成了信息检索里的寻找最相关文档的问题。再比如，早期的协同过滤算法有两个核心思路。其一，就是为一个用户A找到一群类似的用户，从这些类似的用户里寻找可以推荐的物品；其二，就是两个用户都喜爱物品A࿰