- 还有几个点涉及到es的底层数据结构，需要一定的调优能力，可以查看官方文档
kNN选项
field，必填，向量字段名filter，可选，query dsl的filter，返回向量检索和filter过滤条件都满足的文档。k，必填，返回的邻近向量数，必须小于num-candidates。num-candidates，相当于每个分片上的k，es从每个分片上检索num_candidates个向量结果，再根据评分汇总返回k个最终结果。增大该值可以提高检索结果的准确度。query_vector，可选，要检索的向量，维度必须和创建mapping时一致。query_vector_builder，可选，指定模型的相关信息，将编码文本为向量的任务交给es。query_vector和query_vector_builder，必须填且只能填一个。similarity，可选，float类型，判定检索命中的一个阈值，与所选的距离度量方式有关，不是文档分数_score，通过该值对文档进行评分，并应用boost（如果有）。
如果是l2_norm，距离需要小于等于similarity
如果是cosine或者dot_product，相似度需要大于等于similarity。
boost，计算评分时的系数，knn可以和query一起使用，两者的结果合并再计算评分，boost*评分再求和。
精确kNN
查询所有文档计算相似度以保证结果的准确度，可以先使用query过滤一部分文档，再进行精确kNN提高检索速度。
如果确定字段不需要进行近似kNN，可以将字段的index属性设置为false，可以提升索引速度。
精确kNN使用script_score查询
{
"query": {
"script\_score": {
"query" : {
"bool" : {
"filter" : {
"range" : {
"price" : {
"gte": 1000
}
}
}
}
},
"script": {
"source": "cosineSimilarity(params.queryVector, 'product-vector') + 1.0",
"params": {
"queryVector": [-0.5, 90.0, -10, 14.8, -156.0]
}
}
}
}
}
语义检索
es所谓的语义检索即是自带的模型以及向量检索，es提供了一些NLP模型，包括密集向量和稀疏向量的，如果进行中文搜索，需要自己上传配置模型。提高语义检索的通常步骤是选择一个效果较好的通用模型，积累语料，对模型进行训练，优化效果。但训练的成本并不低，为了提供一个通用简便的使用，es提供了一种稀疏向量编码器ELSER，开箱即用，尽量减少微调，目前仅适用于英语。
简单来说，语义检索就是将模型编码的工作也交给了es，不需要我们提前编码好再发送给es进行距离计算。包括部署模型、创建向量字段、生成嵌入向量、检索数据四个步骤。这个功能不免费，具体可以查看官方文档。
倒数融合排序（RRF）
rrf用于将多个检索结果集合并为一个按照rrf_score排序的结果集。通常情况下组合多种排名方法比单个排名具有更好的效果，例如全文检索BM25排名 和密集向量相似度排名。 本质上就是将多个有序结果集组合成一个单一的有序结果集。 理论上可以将每个结果集的分数归一化（因为原始分数在完全不同的范围内），然后进行线性组合，根据每个排名的分数加权和排序最终结果集，这种方法需要提供正确的权重，了解每种方法得分的统计分布，并能根据实际情况优化权重，这并不简单。
另一种方法是rrf算法，相比优化每种排序方法的权重，rrf相对简单粗暴，不利用相关分数，而仅靠排名计算，绕开了不同方法得分统计分布的影响。rrf_score的计算公式如下
R
R
F
s
c
o
r
e
(
d
∈
D
)
=
∑
r
∈
R
1
k
r
(
d
)
RRFscore(d \in D) = \sum_{r \in R} \frac{1}{k+r(d)}
RRFscore(d∈D)=r∈R∑k+r(d)1
- D，查询的文档结果集，例如BM25排序后的结果集，向量检索后的结果集。
- R，查询的文档结果集的排序序列，
1
,
2
,
3…
N
1,2,3…N
1,2,3…N，
r
(
d
)
r(d)
r(d)表示文档在结果集中的排名。
- k，每个查询的单个结果集中的文档对最终排名结果集的影响程度。 较高的值表示排名较低的文档具有更大的影响力。 此值必须大于或等于 1。默认为 60。
计算过程就是对每组结果集的每个文档，为计算rrf_score并累加，最后按rrf_score排序文档。
假定k=10，以下是一个排序示例。
| 文档 | BM25相关性排名 | 密集向量相关性排名 | BM25 rrf_score | 密集向量rrf_score | 按rff_score总分排名 |
|---|---|---|---|---|---|
| A | 1 | 3 |
1
1
10
=
1
11
\frac{1}{1+10}=\frac{1}{11}
1+101=111 |
1
3
10
=
1
13
\frac{1}{3+10}=\frac{1}{13}
3+101=131 | 1 |
| B | - | 2 | - |
1
10
2
=
1
12
\frac{1}{10+2}=\frac{1}{12}
10+21=121 | 3 |
| C | 3 | 1 |
1
3
10
=
1
13
\frac{1}{3+10}=\frac{1}{13}
3+101=131 |
1
1
10
=
1
11
\frac{1}{1+10}=\frac{1}{11}
1+101=111 | 1 |
| D | 2 | 4 |
1
2
10
=
1
12
\frac{1}{2+10}=\frac{1}{12}
2+101=121 |
1
4
10
=
1
14
\frac{1}{4+10}=\frac{1}{14}
4+101=141 | 2 |
在示例中，文档A和C最后总分相同，原始的rrf_score计算没有考虑不同检索计算得分时的权重，假定我们认为密集向量排名比BM25排名更准确，那么可以将密集向量的权重调大一些，那么示例数据rrf排序后第一名的文档就是C了。
在lanchain的EnsembleRetriever中，有添加了权重计算的完整rrf代码实现，
"""
Perform weighted Reciprocal Rank Fusion on multiple rank lists.
You can find more details about RRF here:
https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf
Args:
doc\_lists: A list of rank lists, where each rank list contains unique items.
Returns:
list: The final aggregated list of items sorted by their weighted RRF
scores in descending order.
"""
if len(doc_lists) != len(self.weights):
raise ValueError(
"Number of rank lists must be equal to the number of weights."
)
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
t of rank lists, where each rank list contains unique items.
Returns:
list: The final aggregated list of items sorted by their weighted RRF
scores in descending order.
"""
if len(doc_lists) != len(self.weights):
raise ValueError(
"Number of rank lists must be equal to the number of weights."
)
[外链图片转存中...(img-ZnyL32sn-4701983756903)]
[外链图片转存中...(img-aXfy2eUZ-4701983756903)]
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
1597
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
