基于词项和基于全文的搜索
基于Term查询
- Term的重要性
- Term是表达语意的最小单位。搜索和利用统计语言模型进行自然语言处理都需要处理Term。
- 特点
- Term Level Query:Term Query / Range Query / Exists Query / Prefix Query / Wildcard Query
- 在ES中,Term查询, 对输入不做分词,如果想要匹配可以采用多字段匹配。会将输入作为一个整体,在倒排索引中查找准确的词项,并且使用相关度算分公式为每个包含该词项的文档进行相关度算分 - 例如"Apple Store"
- 可以通过 Constant Score 将查询转换成一个Filtering,避免算分,并利用缓存,提高性能
复合查询 - Constant Score 转为Filter
- 将Query 专成Filter,忽略TF - IDF 计算,避免相关性算分的开销
- Filter 可以有效利用缓存(跳过算分,返回的值都是一样的)
基于全文的查询
- 基于全文本的查找
- Match Query / Match Phrase Query / Query String Query
- 特点
- 索引和搜索时都会进行分词,查询字符串先传递到一个合适的分词器,然后生成一个供查询的词项列表
- 查询时,先会对输入的查询进行分词,然后每个词项逐个进行底层的查询,最终将结果进行合并。并为每个文档生成一个算分。- 例如 查 “Matrix reloaded”,会查到包括Martix 或者 reloaded的所有结果
本节知识点回顾
- 基于词项的查找 VS 基于全文的查找
- term 不会做分词处理,但是全文本查询会做分词处理
- term查询不做分词处理,可以这个操作一下,通过字段 Mapping 控制字段的分词
- “Text” vs “Keyword”
- 通过参数控制查询的Precision & Recall
- 复合查询 - Constant Score 查询
- 即便是对 Keyword 进行Term查询,同样会进行算分
- 可以将查询转为Filtering,取消相关性算分的环节,以提高性能