#### 语义检索
es所谓的语义检索即是自带的模型以及向量检索，es提供了一些NLP模型，包括密集向量和稀疏向量的，如果进行中文搜索，需要自己上传配置模型。提高语义检索的通常步骤是选择一个效果较好的通用模型，积累语料，对模型进行训练，优化效果。但训练的成本并不低，为了提供一个通用简便的使用，es提供了一种稀疏向量编码器[ELSER]( )，开箱即用，尽量减少微调，目前仅适用于英语。
简单来说，语义检索就是将模型编码的工作也交给了es，不需要我们提前编码好再发送给es进行距离计算。包括部署模型、创建向量字段、生成嵌入向量、检索数据四个步骤。这个功能不免费，具体可以查看[官方文档]( )。
### 倒数融合排序（RRF）
rrf用于将多个检索结果集合并为一个按照rrf\_score排序的结果集。通常情况下组合多种排名方法比单个排名具有更好的效果，例如全文检索BM25排名 和密集向量相似度排名。 **本质上就是将多个有序结果集组合成一个单一的有序结果集。 理论上可以将每个结果集的分数归一化（因为原始分数在完全不同的范围内），然后进行线性组合，根据每个排名的分数加权和排序最终结果集，这种方法需要提供正确的权重，了解每种方法得分的统计分布，并能根据实际情况优化权重**，这并不简单。
另一种方法是rrf算法，相比优化每种排序方法的权重，rrf相对简单粗暴，不利用相关分数，而仅靠排名计算，绕开了不同方法得分统计分布的影响。rrf\_score的计算公式如下
R
R
F
s
c
o
r
e
(
d
∈
D
)
=
∑
r
∈
R
1
k
+
r
(
d
)
RRFscore(d \in D) = \sum\_{r \in R} \frac{1}{k+r(d)}
RRFscore(d∈D)=r∈R∑k+r(d)1
* D，查询的文档结果集，例如BM25排序后的结果集，向量检索后的结果集。
* R，查询的文档结果集的排序序列，
1
,
2
,
3...
N
1,2,3...N
1,2,3...N，
r
(
d
)
r(d)
r(d)表示文档在结果集中的排名。
* k，每个查询的单个结果集中的文档对最终排名结果集的影响程度。 较高的值表示排名较低的文档具有更大的影响力。 此值必须大于或等于 1。默认为 60。
计算过程就是对每组结果集的每个文档，为计算rrf\_score并累加，最后按rrf\_score排序文档。
假定k=10，以下是一个排序示例。
| 文档 | BM25相关性排名 | 密集向量相关性排名 | BM25 rrf\_score | 密集向量rrf\_score | 按rff\_score总分排名 |
| --- | --- | --- | --- | --- | --- |
| A | 1 | 3 |
1
1
+
10
=
1
11
\frac{1}{1+10}=\frac{1}{11}
1+101=111 |
1
3
+
10
=
1
13
\frac{1}{3+10}=\frac{1}{13}
3+101=131 | 1 |
| B | - | 2 | - |
1
10
+
2
=
1
12
\frac{1}{10+2}=\frac{1}{12}
10+21=121 | 3 |
| C | 3 | 1 |
1
3
+
10
=
1
13
\frac{1}{3+10}=\frac{1}{13}
3+101=131 |
1
1
+
10
=
1
11
\frac{1}{1+10}=\frac{1}{11}
1+101=111 | 1 |
| D | 2 | 4 |
1
2
+
10
=
1
12
\frac{1}{2+10}=\frac{1}{12}
2+101=121 |
1
4
+
10
=
1
14
\frac{1}{4+10}=\frac{1}{14}
4+101=141 | 2 |
在示例中，文档A和C最后总分相同，原始的rrf\_score计算没有考虑不同检索计算得分时的权重，假定我们认为密集向量排名比BM25排名更准确，那么可以将密集向量的权重调大一些，那么示例数据rrf排序后第一名的文档就是C了。
在`lanchain`的`EnsembleRetriever`中，有添加了权重计算的完整rrf代码实现，
“”"
Perform weighted Reciprocal Rank Fusion on multiple rank lists.
You can find more details about RRF here:
https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf
Args:
doc_lists: A list of rank lists, where each rank list contains unique items.
Returns:
list: The final aggregated list of items sorted by their weighted RRF
scores in descending order.
“”"
if len(doc_lists) != len(self.weights):
raise ValueError(
“Number of rank lists must be equal to the number of weights.”
)
Create a union of all unique documents in the input doc_lists
all_documents = set()
for doc_list in doc_lists:
for doc in doc_list:
all_documents.add(doc.page_content)
Initialize the RRF score dictionary for each document
rrf_score_dic = {doc: 0.0 for doc in all_documents}
Calculate RRF scores for each document
for doc_list, weight in zip(doc_lists, self.weights):
for rank, doc in enumerate(doc_list, start=1):
rrf_score = weight * (1 / (rank + self.c))
# 以文档id做key会更好，langchain的Document只有metadata字典和page_content
rrf_score_dic[doc.page_content] += rrf_score
Sort documents by their RRF scores in descending order
sorted_documents = sorted(
rrf_score_dic.keys(), key=lambda x: rrf_score_dic[x], reverse=True
)
Map the sorted page_content back to the original document objects
page_content_to_doc_map = {
doc.page_content: doc for doc_list in doc_lists for doc in doc_list
}
sorted_docs = [
page_content_to_doc_map[page_content] for page_content in sorted_documents
]
return sorted_docs
### Langchain整合Elasticsearch
self._embeddings = HuggingFaceBgeEmbeddings(model_name=Configuration.EMBEDDING_MODEL,
model_kwargs={‘device’: Configuration.DEVICE},
encode_kwargs={‘normalize_embeddings’: True})
self._es_client = Elasticsearch(hosts=f’http://{Configuration.ES_HOST}:{Configuration.ES_PORT}',
basic_auth=(Configuration.ES_USER, Configuration.ES_PASSWORD))
self._es_vector_store = ElasticsearchStore(index_name=Configuration.INDEX_NAME, embedding=self._embeddings,
es_connection=self._es_client,
distance_strategy=DistanceStrategy.DOT_PRODUCT,
strategy=ApproxRetrievalStrategy(hybrid=True, rrf=True)) # 混合检索，rrf重排
如果没有提前建立索引，es会自动创建索引，增加向量字段，其他的字段均由es自动推断类型，如果需要使用全文检索，需要创建索引时指定分词器，同时检索时只能检索一个向量字段和一个文本字段，部分参数无法灵活定义，并不是太好用。建议自己手搓添加文档和搜索文档的过程。
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**
**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**
**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
天花板技术停滞不前！**
**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
[外链图片转存中...(img-8D7qL80j-1712935585024)]
[外链图片转存中...(img-919ZWvjt-1712935585025)]
[外链图片转存中...(img-MqOERT7F-1712935585026)]
[外链图片转存中...(img-P7CIHMzB-1712935585026)]
[外链图片转存中...(img-SKbXim9d-1712935585026)]
**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**
**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-WGqrl3Or-1712935585026)]
1424
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
