搜索引擎闲话

注：这两年做数据仓库以及数据处理，发现其实很多搜索中的东西在数据处理、adhoc等一些场景中也是同样适用的，淘宝的mkdrill其实就是将分布式搜索引擎用来做数据的检索(原始数据很大但是结果集很小的场景)。  

将自己前两年做搜索的流程以及中的问题整理整理下，先写个框架，后续会慢慢更新~~  再不写，真的就忘了 

新闻抓取spider

解析parse

结构化

去重

索引index 

倒排索引

正排文本k-v存储

检索search

常用检索方式

排序vsm的cos相似

优化的过滤以及范围查询

高亮

正排索引存储

分布式索引

 

转载于:https://www.cnblogs.com/serendipity/articles/3722911.html