es混合检索与langchain检索增强_langchain ensembleretriever(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

  "query" : {
    "bool" : {
      "filter" : {
        "range" : {
          "price" : {
            "gte": 1000
          }
        }
      }
    }
  },
  "script": {
    "source": "cosineSimilarity(params.queryVector, 'product-vector') + 1.0",
    "params": {
      "queryVector": [-0.5, 90.0, -10, 14.8, -156.0]
    }
  }
}

}
}

#### 语义检索


es所谓的语义检索即是自带的模型以及向量检索，es提供了一些NLP模型，包括密集向量和稀疏向量的，如果进行中文搜索，需要自己上传配置模型。提高语义检索的通常步骤是选择一个效果较好的通用模型，积累语料，对模型进行训练，优化效果。但训练的成本并不低，为了提供一个通用简便的使用，es提供了一种稀疏向量编码器[ELSER]( )，开箱即用，尽量减少微调，目前仅适用于英语。


简单来说，语义检索就是将模型编码的工作也交给了es，不需要我们提前编码好再发送给es进行距离计算。包括部署模型、创建向量字段、生成嵌入向量、检索数据四个步骤。这个功能不免费，具体可以查看[官方文档]( )。


### 倒数融合排序（RRF）


rrf用于将多个检索结果集合并为一个按照rrf\_score排序的结果集。通常情况下组合多种排名方法比单个排名具有更好的效果，例如全文检索BM25排名 和密集向量相似度排名。 **本质上就是将多个有序结果集组合成一个单一的有序结果集。 理论上可以将每个结果集的分数归一化（因为原始分数在完全不同的范围内），然后进行线性组合，根据每个排名的分数加权和排序最终结果集，这种方法需要提供正确的权重，了解每种方法得分的统计分布，并能根据实际情况优化权重**，这并不简单。


另一种方法是rrf算法，相比优化每种排序方法的权重，rrf相对简单粗暴，不利用相关分数，而仅靠排名计算，绕开了不同方法得分统计分布的影响。rrf\_score的计算公式如下  
  
 
 
 
 
 R 
 
 
 R 
 
 
 F 
 
 
 s 
 
 
 c 
 
 
 o 
 
 
 r 
 
 
 e 
 
 
 ( 
 
 
 d 
 
 
 ∈ 
 
 
 D 
 
 
 ) 
 
 
 = 
 
 
 
 ∑ 
 
 
 
 r 
 
 
 ∈ 
 
 
 R 
 
 
 
 
 
 1 
 
 
 
 k 
 
 
 + 
 
 
 r 
 
 
 ( 
 
 
 d 
 
 
 ) 
 
 
 
 
 
 RRFscore(d \in D) = \sum\_{r \in R} \frac{1}{k+r(d)} 
 
 
 RRFscore(d∈D)=r∈R∑​k+r(d)1​


* D，查询的文档结果集，例如BM25排序后的结果集，向量检索后的结果集。
* R，查询的文档结果集的排序序列， 
 
 
 
 
 1 
 
 
 , 
 
 
 2 
 
 
 , 
 
 
 3... 
 
 
 N 
 
 
 
 1,2,3...N 
 
 
 1,2,3...N， 
 
 
 
 
 r 
 
 
 ( 
 
 
 d 
 
 
 ) 
 
 
 
 r(d) 
 
 
 r(d)表示文档在结果集中的排名。
* k，每个查询的单个结果集中的文档对最终排名结果集的影响程度。 较高的值表示排名较低的文档具有更大的影响力。 此值必须大于或等于 1。默认为 60。  
 计算过程就是对每组结果集的每个文档，为计算rrf\_score并累加，最后按rrf\_score排序文档。  
 假定k=10，以下是一个排序示例。




| 文档 | BM25相关性排名 | 密集向量相关性排名 | BM25 rrf\_score | 密集向量rrf\_score | 按rff\_score总分排名 |
| --- | --- | --- | --- | --- | --- |
| A | 1 | 3 |  
 
 
 
 
 
 1 
 
 
 
 1 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 11 
 
 
 
 
 \frac{1}{1+10}=\frac{1}{11} 
 
 
 1+101​=111​ |  
 
 
 
 
 
 1 
 
 
 
 3 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 13 
 
 
 
 
 \frac{1}{3+10}=\frac{1}{13} 
 
 
 3+101​=131​ | 1 |
| B | - | 2 | - |  
 
 
 
 
 
 1 
 
 
 
 10 
 
 
 + 
 
 
 2 
 
 
 
 
 = 
 
 
 
 1 
 
 
 12 
 
 
 
 
 \frac{1}{10+2}=\frac{1}{12} 
 
 
 10+21​=121​ | 3 |
| C | 3 | 1 |  
 
 
 
 
 
 1 
 
 
 
 3 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 13 
 
 
 
 
 \frac{1}{3+10}=\frac{1}{13} 
 
 
 3+101​=131​ |  
 
 
 
 
 
 1 
 
 
 
 1 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 11 
 
 
 
 
 \frac{1}{1+10}=\frac{1}{11} 
 
 
 1+101​=111​ | 1 |
| D | 2 | 4 |  
 
 
 
 
 
 1 
 
 
 
 2 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 12 
 
 
 
 
 \frac{1}{2+10}=\frac{1}{12} 
 
 
 2+101​=121​ |  
 
 
 
 
 
 1 
 
 
 
 4 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/ae219142b09c95f72718aff11594f82c.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

 10 
 
 
 
 
 = 
 
 
 
 1 
 
 
 12 
 
 
 
 
 \frac{1}{2+10}=\frac{1}{12} 
 
 
 2+101​=121​ |  
 
 
 
 
 
 1 
 
 
 
 4 
 
 
 + 
 
 
 10 
 
 
 
 
 = 
 
 
 
 1 
 


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-lpl4TjN9-1713282808197)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**