lucene 专业名词作用整理

最新推荐文章于 2021-12-06 18:38:35 发布

weixin_34087307

最新推荐文章于 2021-12-06 18:38:35 发布

阅读量101

点赞数

是否切词：对关键词是否切分，举例，姓名域的一个值："张三" , 是否切分成"张"、"三"等等多个term。

是否索引：建立索引的时候是否对该字段域对应的数据建立索引。是不是放到倒排表中，此域的关键字与document之间的对应关系存不存在即反向关系存不存在，通过term能不能定位到document

是否存储：对此字段域的数据进行获取时，是否能还原！ document.get("fieldName") 能不能得到内容

//先写着,把打分过程捋一捋，再完善
FieldType fieldType = new FieldType();  
        // 存储设置
        fieldType.setStored(true);
        
        //索引设置
        fieldType.setIndexed(true);// 是否索引      索引了才能被搜索到
        fieldType.setIndexOptions(IndexOptions.DOCS_ONLY);//仅仅存储文档,词频和位置信息被忽略
        fieldType.setOmitNorms(true);//标准化因子是否对此字段忽略生效,true忽略     影响评分
        fieldType.setStoreTermVectorOffsets(false);//词向量里面是否存储词元字符偏移量  节省存储
        fieldType.setStoreTermVectorPayloads(false);//词向量里面是否存储负载因子               可加快查询速度  、影响评分    
        fieldType.setStoreTermVectorPositions(false);//词向量里面是否存储位置                      节省存储
        fieldType.setStoreTermVectors(false);//是否存储词向量
        fieldType.setTokenized(true);// 是否被分词

存储域选项：Field.Store

YES: 域中的内容全部存储到文件中，方便进行文本的还原!

NO:document.get(String name),无法得到值

索引域选项：Field.Index

ANALYZED,分词之后再建立索引，适用于标题、内容等

NOT_ANALYZED，索引，但不切词，身份证号，ID等，适用精确查询（说是说不切词，其实还是有一个切词的，就是值本身）,不切分，其实默认就可以当做keywordAnalyzer了,其他任何切词器对它都失效了

ANALYZED_NO_NORMS，分词但不存储norms信息，norms中包括了创建索引的时间、权值即排序等信息

NOT_ANALYZED_NO_NORMS，不分词也不存储

NO,不进行索引

一个域为什么会被存储(store)而不被索引(Index)呢？在一个文档中的所有信息中，有这样一部分信息，可能不想被索引从而可以搜索到，但是当这个文档由于其他的信息被搜索到时，可以同其他信息一同返回。没有经过切词，根本就不会有这个term！但是存储了原始内容

举个例子，读研究生时，您好不容易写了一篇论文交给您的导师，您的导师却要他所第一作者而您做第二作者，然而您导师不想别人在论文系统中搜索您的名字时找到这篇论文，于是在论文系统中，把第二作者这个Field的Indexed设为false，这样别人搜索您的名字，永远不知道您写过这篇论文，只有在别人搜索您导师的名字从而找到您的文章时，在一个角落表述着第二作者是您分信息，可能不想被索引从而可以搜索到，但是当这个文档于其他的信息被搜索到时，可以同其他信息一同返回。(对应代码就是通过其他字段找到该字段对应的Document的时候，然后再通过Document的get("Field的name")来得到这个字段的数据(当然如果也是"不存储"方法那么得到的将是空Null))

A term vector: 词向量

is a list of the document's terms and their number of occurrences in that document.

offset：偏移量

比如要存储如下词:term，termagancy，termagant，terminal

节省存储

position:位置增量

1 1 1 1 position位置增量

how are you thank you

0-3 4-7 8-11 12-17 18-21 offset

停用词过滤之后

1:how[0-3]

2:you[8-11] position位置增量为2了

Offset(偏移):反向索引中保存term时,后面的词仅仅保存前缀在词中的偏移，基于数字的，获得token的位置，多用于加亮
position(位置):位置是基于term的，当你要用到的它的位置信息，比如中间是否间隔了term: phrasequery.setslop;
payload(负载因子):当要存储的信息很多的时候，存放在倒排表里，利用跳跃表，有利于大大提高搜索速度,还可以存储一些自己的信息,用户可以根据自己存储的信息,来影响Lucene的打分

词向量：used to locate specific documents in the data file，高亮

1.TypeAttributeImpl

分词的词汇类型，默认值为“word”

2.OffsetAttributeImpl

Token分词的起始字符，结束字符偏移量

3.PositionIncrementAttribute

它表示tokenStream中的当前token与前一个token在实际的原文本中相隔的词语数量

4.PositionLengthAttributeImpl

Token所占用的位置个数

举例：

原文本：I'm a student. these are apples
TokenSteam： [1： I'm ] [2：a]   [3：student]     [4：these]   [5：are ]   [6：apples]
(1) TermAttribute：表示token的字符串信息。比如"I'm"
(2) TypeAttribute：表示token的类别信息(在上面讲到)。比如 I'm 就属于，有撇号的类型
(3) OffsetAttribute：表示token的首字母和尾字母在原文本中的位置。比如 I'm 的位置信息就是(0,3)
(4) PositionIncrementAttribute：这个有点特殊，它表示tokenStream中的当前token与前一个token在实际的原文本中相隔的词语数量。
       比如：在tokenStream中[2：a] 的前一个token是[1： I'm ] ，它们在原文本中相隔的词语数是1，则token="a"的PositionIncrementAttribute值为1。如果token是原文本中的第一个词，则默认值为1。因此上面例子的PositionIncrementAttribute结果就全是1了。

       如果我们使用停用词表来进行过滤之后的话：TokenSteam就会变成： [1： I'm ]   [2：student]    [3：apples]这时student的PositionIncrementAttribute值就不会再是1，而是与[1： I'm ]在原文本中相隔词语数量=2。而apples则变成了3。

       那么这个属性有什么用呢，用处很大的。假如我们想搜索一个短语student apples(假如有这个短语)。很显然，用户是要搜索出student apples紧挨着出现的文档。这个时候我们找到了某一篇文档(比如上面例子的字符串)都含有student apples。但是由于apples的PositionIncrementAttribute值是3，说明肯定没有紧挨着，就不会被搜索到。轻而易举的解决了短语搜索的难题哦。

phrasequery,是可以解决类似查询海南，不会召回南海的问题，同样还可以实现模糊查询，但是仅仅限于term之间，term之间才可以设置slop。

例如：张ax1111,分词为张 ax1111，phrasequery可以解决不召回ax1111张的问题，但是没有模糊功能了，只能精确(张ax111*也不行），N-gram可以解决此类问题。

precisionStep 数值类型的值转换成字符串类型的值时，影响切分之后term的个数！

precisionStep 越小那么被“切”成的的字符串就会多。precisionStep 越小则value被“切”成的term就越多，也就是说索引体积将会增大。被“切”分的term越多则可能在NumericRangeQuery中被细分的小区间中存在的可能性也就越高，那么查询遍历的次数也就越少，性能也就越好。因此，理想的precisionStep只能依据自己的测试而获取。同时请注意如果只是对其进行sort而不需要范围查询可以将precisionStep=Integer.MAX_VALUE。这样只会生成一个term，从而不会增大索引体积。