倒排索引,正排索引与lucene

倒排索引,正排索引与lucene

数据搜索技术

1. 传统数据库搜索技术

   select * from TABLE_NAME where xx like "%PHP是世界上最好的语言%"

   该查询对于数据库来说，需要根据查询字段逐条进行检索。然后返回该条结果数据，对于大量的数据来说搜索效率很低，而且只能进行完整词汇的匹配。无法模糊的相关搜索。

2. 倒排索引数据搜索技术

   网页搜索 PHP是世界上最好的语言

   

   当前搜索中出现了传统数据库搜索不能出现的**php语言是不是..**等词。

   如果有五条数据,那么它们都是怎么检索的呢?

   DocId	内容
   1	PHP是世界上最好的语言是什么梗?
   2	PHP是世界上最好的语言这个梗是怎么来的?
   3	编程的程序员们,你们有语言崇拜吗...
   4	php语言是不是世界上最好的语言
   5	程序员鄙视链PHP是世界上最好的语言

   如果是传统数据库检索,只会出现 1 , 2 , 4, 5 分词

   DocId	内容
   1	PHP,是,世界上,最好,的,语言,是,什么,梗?
   2	PHP,是,世界,上,最好,的,语言,这个,梗,是,怎么,来,的?
   3	编程,的,程序员们,你们,有,语言,崇拜,吗...
   4	php,语言,是不是,世界,上,最好,的,语言
   5	程序员,鄙视链,PHP,是,世界,上,最好,的,语言

   按照以上分词的结果,进行查询.依然是正排索引.倒排索引是什么样子的呢?

   词	DocId
   PHP	1,2,3,4,5
   世界	1,2,3,4,5
   语言	1,2,3,4,5
   程序员	5
   编程	3
   ...	...

   那么基于倒排索引查询的时候就很清晰了,对于分伺后的结果再查询文档

3. 搜索引擎是如何实现的呢

   • 基于以上了解的，实现搜索引擎的整体过程是什么流程? 
   • 

Lucene是什么?

Lucene是纯java开发的一个开源的全文检索引擎工具包。它本身不是一个完全的全文检索引擎,而只是一个完全的全文检索引擎架构。它提供了完全的查询引擎与索引引擎。目前由Apache基金会进行运营。再其之上建立的成熟的全文检索引擎有solr与ElasticSearch

1. Lucene历史

   Lucene最早有Hadoop之父Doug Cutting创建，Doug Cutting是资深全文检索专家，早期发布Lucene代码到个人博客上，最终贡献给Apache基金会。

2. Lucene基本概念
   • Index(索引):索引
   • Segement(段):创建索引时会生成Segment,之后再定时合并到大的Segment中
   • Document(文档):由很多的Field组成,
   • Field(字段):有很多的Term组成
   • Term(词项):分词后的最小单元为Term
   • Token(词条):类似于每个Term的属性,记录类型,偏移量等.
   •  

转载于:https://my.oschina.net/CainGao/blog/3077394