在《深入理解搜索引擎——开篇》一文中,有讲解过搜索引擎的发展历程,随着大数据和人工智能的发展,人们已经进入到信息过载的时代。
在这个海量数据的时代,内容消费者很难通过传统的搜索引擎找到自己感兴趣的内容,而内容生产者也很难让自己的信息脱颖而出,受到广大用户的关注,从而诞生了个性化搜索来解决这一矛盾。
提到个性化就不得不提推荐系统了,个性化搜索其实是将搜索引擎和推荐系统进行结合,所以今天咱们就来聊聊搜索引擎和推荐系统那些事。
一、架构层面
搜索引擎从过程上分为爬虫、索引、query理解、召回和排序等模块,如下:
爬虫和索引是搜索引擎的基础模块,而query理解、召回和排序可以基于传统模型做,也可以基于个性化模型做,此前咱们讲过很多这类的召回和排序模型。