电商搜索算法技术的演进

阿里妹导读：2018年9月28日，阿里电商搜索事业部迎来了一场以“搜·荐未来”为主题的技术峰会。

搜索与推荐算法经过多年的发展，从最初简单的统计模型，机器学习到形成完整的离线在线与实时的深度学习与智能决策体系，每年都有新的算法突破，帮助搜索与推荐的体验与效果取得大幅提升，成为驱动电商商业创新与发展的新引擎。站在今天总结过去的算法演进，同时看未来电商搜索推荐算法的发展，期待从机器智能到结合人类智能做到真正地认知智能，实现搜索推荐新的交互新体验。

今天，我们邀请青峰老师，带你回顾搜索算法技术的发展之路。

 

作者简介：青峰，搜索推荐算法技术负责人，阿里巴巴研究员

一 、淘宝搜索的一些特点

淘宝有几十亿商品，挂靠在几千个叶子类目，上百个一级类目，十几个行业下面。如何能让用户找到符合意图的商品，是淘宝搜索需要解决的首要问题。

淘宝搜索从大的架构或流程上来说，与传统的搜索引擎有不少相似的地方。包括对数据的整理、分析、索引产生索引库，如何根据用户输入的关键词在索引倒排表中进行检索，完成商品与检索之间的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制等。

　　

当然作为电商的商品搜索来说，它天然的商业属性带来的更多是自身独特的技术特点。

从数据更新角度来看，淘宝的数据变化和更新非常快。每天大量的新商品数据被上传到网站，一旦新商品被上传，这个商品就需要被搜索到。不像网页搜索，任何人可以发布新的网页，但是否被搜索引擎收录是另一回事。同时在淘宝每天有大量的商品不停地在做更新，包括商品标题描述的变化，商品价格的改变，商品图片的更新，商品的上下架等等，这些变化也需要实时的更新到搜索中，以便让用户及时找到更新后的商品信息。而在全网搜索中，很多网页是静态不变，网页之间的相互关系也变化缓慢，大量索引的更新没有类似淘宝搜索这种实时性的需求。

从搜索数据源来看，淘宝商品的图片在用户研究和购买过程中起到了很大作用，搜索的展现结果中有很大一部分被图片所占据。如何更有效地利用图片的信息，无论是根据图片来做检索，或是考虑图片的质量，图片与文本的相互关系等都是淘宝搜索需要考虑和处理的。

另外一个特点是全链路特性。搜索，比较以及购买都发生在淘宝站内，不像一般的全网搜索引擎，用户搜索完后就跳离到其它网站，搜索前和搜索后的用户行数据是很难拿到的。而在淘宝搜索，用户搜索完后，会点击其中一些商品，然后比较这些商品，和卖家进行沟通，然后下单购买，或者返回来继续搜索，搜索前，搜索中和搜索后的数据和信息非常丰富，有全链路的用户行为数据能帮助我们设计一个更好的搜索排序算法。

最后更重要的一点淘宝是一个生态系统。而搜索排序算法的设计不只是体现了搜索本身的技术追求，也包含了更多的商业诉求。在全网搜索中，一般的网页是不是被索引，被索引后是不是能展现，对网页的拥有者来说并不是一个事关生活的决定点。在淘宝上则完全不同，很多商家依赖于淘宝来解决民生就业问题，网店的流量以及成交关系到很多人的生活。在淘宝搜索的算法设计中，既要考虑用户的搜索体验，也要考虑商业规则来保障公平性和流量的分散性。很多的搜索算法原理，规则或算法结果都会向卖家宣导，引导卖家向更好的方向发展。