搜索架构引擎、方案与细节

参考
搜索架构

       文字很多，有宏观，有细节，对于大部分不是专门研究搜索引擎的同学，记住以下几点即可：
（1）全网搜索引擎系统由spider， search&index， rank三个子系统构成
（2）站内搜索引擎与全网搜索引擎的差异在于，少了一个spider子系统
（3）spider和search&index系统是两个工程系统，rank系统的优化却需要长时间的调优和积累
（4）正排索引（forward index）是由网页url_id快速找到分词后网页内容list<item>的过程
（5）倒排索引（inverted index）是由分词item快速寻找包含这个分词的网页list<url_id>的过程
（6）用户检索的过程，是先分词，再找到每个item对应的list<url_id>，最后进行集合求交集的过程
（7）有序集合求交集的方法有
         a）二重for循环法，时间复杂度O(n*n)
         b）拉链法，时间复杂度O(n)
         c）水平分桶，多线程并行
         d）bitmap，大大提高运算并行度，时间复杂度O(n)
         e）跳表，时间复杂度为O(log(n))

       自研搜索的话，历史数据怎么迁移到新的架构上。产生数据的业务服务是否要重构？工程上要考虑哪些方面和流程？

（1）数据初始化，需要重建索引
（2）为了保证数据一致性，索引紧密性，也需要定期重建索引
（3）搜索的接口、架构变化了，调用需要升级