RAG必懂知识：什么是向量数据库的距离？一文详解向量距离

向量距离在数学、物理学、工程学和计算机科学等多个领域都至关重要。它们用于测量物理量、分析数据、识别相似性以及确定向量之间的关系。本文将提供向量距离及其在数据科学中应用的概述。

什么是向量距离？

向量距离，也称为距离度量或相似度度量，是一种数学函数，用于量化两个向量之间的相似性或差异性。这些向量可以代表各种数据集，向量距离有助于理解向量在特征空间中的接近程度或远离程度。因此，向量距离在各种机器学习算法中至关重要，使这些算法能够基于向量之间的关系做出决策。

对于距离的度量，我们可以在几何距离测量和统计距离测量之间进行选择，应该选择哪种距离度量取决于数据的类型。特征可能有不同的数据类型（例如，真实值、布尔值、分类值），数据可能是多维的或由地理空间数据组成。

机器学习中向量距离的应用场景有哪些？

千万不要低估向量距离的力量。向量距离在机器学习领域中有着广泛的应用场景。

首先，在聚类任务中，向量距离能够帮助将相似向量分组成簇。诸如k-均值、层次聚类和DBSCAN等算法依赖向量距离来确定哪些向量属于同一簇。

在分类任务中，kNN分类等算法通过计算某向量与其k个最近邻向量的距离来确定其分类，从而将该向量分配到其近邻最多的聚类中。在自然语言处理（NLP）中，向量距离被用于计算文档相似度、执行情感分析和对文本文档进行聚类。

在数据预处理步骤中，向量距离对于特征缩放、归一化和去除异常值至关重要，确保数据能够更好地适应机器学习算法。

在神经网络训练中，向量距离作为损失函数或正则化项，鼓励输出向量和目标向量之间保持一定的关系，从而提高模型性能。异常检测任务中，通过测量向量与中心簇或其他向量的距离，可以检测出异常或离群值，这些向量因远离大多数向量而被视为异常。

降维技术如UMAP和t-SNE利用向量距离在高维数据中创建低维表示，尽可能保持成对距离，帮助数据可视化和理解。

总之，向量距离是许多机器学习任务和应用的基石，选择合适的向量距离对算法的能力及其捕捉向量数据之间关系至关重要。

有哪些向量相似度类型？

1、欧氏距离 Euclidean distance

欧氏距离度量两个实值向量之间的最短距离。由于其直观，使用简单和对许多用例有良好结果，所以它是最常用的距离度量和许多应用程序的默认距离度量。

欧氏距离也可称为l2范数，其计算方法为:

Python代码如下：

 from scipy.spatial import distance  
 distance.euclidean(vector\_1, vector\_2)

欧氏距离有两个主要缺点。首先，距离测量不适用于比2D或3D空间更高维度的数据。第二，如果我们不将特征规范化和/或标准化，距离可能会因为单位的不同而倾斜。

2、曼哈顿距离 Manhattan distance

曼哈顿距离也被称为出租车或城市街区距离，因为两个实值向量之间的距离是根据一个人只能以直角移动计算的。这种距离度量通常用于离散和二元属性，这样可以获得真实的路径。

曼哈顿距离以l1范数为基础，计算公式为:

Python代码如下：

 from scipy.spatial import distance  
 distance.cityblock(vector\_1, vector\_2)

曼哈顿的距离有两个主要的缺点。它不如高维空间中的欧氏距离直观，它也没有显示可能的最短路径。虽然这可能没有问题，但我们应该意识到这并不是最短的距离。

3、切比雪夫距离 Chebyshev distance

切比雪夫距离也称为棋盘距离，因为它是两个实值向量之间任意维度上的最大距离。它通常用于仓库物流中，其中最长的路径决定了从一个点到另一个点所需的时间。

切比雪夫距离由l -无穷范数计算:

Python代码如下：

 from scipy.spatial import distance  
 distance.chebyshev(vector\_1, vector\_2)

切比雪夫距离只有非常特定的用例，因此很少使用。

4、闵可夫斯基距离 Minkowski distance

闵可夫斯基距离是上述距离度量的广义形式。它可以用于相同的用例，同时提供高灵活性。我们可以选择 p 值来找到最合适的距离度量。

闵可夫斯基距离的计算方法为:

Python代码如下：

 from scipy.spatial import distance  
 distance.minkowski(vector\_1, vector\_2, p)

由于闵可夫斯基距离表示不同的距离度量，它就有与它们相同的主要缺点，例如在高维空间的问题和对特征单位的依赖。此外，p值的灵活性也可能是一个缺点，因为它可能降低计算效率，因为找到正确的p值需要进行多次计算。

5、余弦相似度和距离 Cosine similarity

余弦相似度是方向的度量，他的大小由两个向量之间的余弦决定，并且忽略了向量的大小。余弦相似度通常用于与数据大小无关紧要的高维，例如，推荐系统或文本分析。

余弦相似度可以介于-1(相反方向)和1(相同方向)之间，计算方法为:

余弦相似度常用于范围在0到1之间的正空间中。余弦距离就是用1减去余弦相似度，位于0(相似值)和1(不同值)之间。

Python代码如下：

 from scipy.spatial import distance  
 distance.cosine(vector\_1, vector\_2)

余弦距离的主要缺点是它不考虑大小而只考虑向量的方向。因此，没有充分考虑到值的差异。

6、半正矢距离 Haversine distance

半正矢距离测量的是球面上两点之间的最短距离。因此常用于导航，其中经度和纬度和曲率对计算都有影响。

半正矢距离的公式如下：

其中r为球面半径，φ和λ为经度和纬度。

Python代码如下：

 from sklearn.metrics.pairwise import haversine\_distances  
 haversine\_distances(\[vector\_1, vector\_2\])

半正矢距离的主要缺点是假设是一个球体，而这种情况很少出现。

7、汉明距离

汉明距离衡量两个二进制向量或字符串之间的差异。

对向量按元素进行比较，并对差异的数量进行平均。如果两个向量相同，得到的距离是0之间，如果两个向量完全不同，得到的距离是1。

Python代码如下：

 from scipy.spatial import distance  
 distance.hamming(vector\_1, vector\_2)

汉明距离有两个主要缺点。距离测量只能比较相同长度的向量，它不能给出差异的大小。所以当差异的大小很重要时，不建议使用汉明距离。

统计距离测量可用于假设检验、拟合优度检验、分类任务或异常值检测。

8、杰卡德指数和距离 Jaccard Index

Jaccard指数用于确定两个样本集之间的相似性。它反映了与整个数据集相比存在多少一对一匹配。Jaccard指数通常用于二进制数据比如图像识别的深度学习模型的预测与标记数据进行比较，或者根据单词的重叠来比较文档中的文本模式。

Jaccard距离的计算方法为:

Python代码如下：

 from scipy.spatial import distance  
 distance.jaccard(vector\_1, vector\_2)

Jaccard指数和距离的主要缺点是，它受到数据规模的强烈影响，即每个项目的权重与数据集的规模成反比。

9、Sorensen-Dice指数

Sörensen-Dice指数类似于Jaccard指数，它可以衡量的是样本集的相似性和多样性。该指数更直观，因为它计算重叠的百分比。Sörensen-Dice索引常用于图像分割和文本相似度分析。

计算公式如下：

Python代码如下：

 from scipy.spatial import distance  
 distance.dice(vector\_1, vector\_2)

它的主要缺点也是受数据集大小的影响很大。

使用向量距离的主流软件库

Faiss 向量检索库的应用

Faiss 是一个高效的向量检索库，由 Facebook AI 研究团队开发，广泛用于高维向量的相似性搜索和聚类。以下是一些 Faiss 常用的操作：

这些操作涵盖了 Faiss 的基本使用场景，包括创建索引、添加和搜索向量、以及与 GPU 的兼容等。根据实际应用的需求，你可以选择适合的索引类型和优化方法。

总的来说，向量数据库距离的价值在于其在高效检索和处理大规模数据中的核心作用。

通过量化向量之间的相似性或差异性，向量距离使得机器学习算法能够在特征空间中准确地分类、聚类和预测数据。它不仅提升了自然语言处理、图像识别和异常检测等领域的精度，还在数据预处理和降维过程中发挥关键作用。

向量距离是实现智能化数据分析和决策的基础工具，极大地推动了AI和机器学习技术的发展。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】