倒排索引

什么是倒排索引

        倒排索来源于实际应用中需要根据属性的值来查找记录。

        这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。

        由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引（inverted index）。

        带有倒排索引的文件我们称为倒排索引文件，简称倒排文件（inverted file）。

 

目前搜索引擎中一般底层索引存储都采用倒排索引

倒排索引也是搜索引擎区别于关系数据库和Nosql数据库的一个核心

 

举例

假设有A、B、C三个文件

文件A：通过Python django搭建网站

文件B：Python scrapy爬取网站数据

文件C：scrapy-redis 分布式爬虫

 

我们要查找包含关键字Python的文件，即这三个文件哪些包含了我们要查找的关键字，按照我们常规的办法，那就是对文件进行遍历，遍历A文件中的内容看有没有关键字，遍历B文件中的内容........遍历C文件中的内容.......

这种效率肯定是不能接受的，当文件成千万上亿个的时候，肯定是不能实现的

那倒排索引就是，我们在文件进行存储之前，先对文件进行分析，分析中就包括了分词

这只是一个示意图，

还会保存位置信息，关键词在文章中的哪个位置出现

 

elasticsearch依据TF-IDF进行打分

 

 

倒排索引待解决的问题

• 1.大小写转换问题，如python和PYTHON应该为一个词
• 2.词干抽取，looking和look应该处理为一个词
• 3.分词，若屏蔽系统应该分词为“屏蔽”、“系统"还是应该为“屏蔽系统"
• 4.倒排索引文件过大-压缩编码

当然这些问题es都帮我们完成了