十分钟搞懂机器学习中的余弦相似性

拥抱AGI

已于 2024-08-22 22:26:46 修改

阅读量1.3k

点赞数 21

文章标签：机器学习人工智能学习 langchain 职场和发展深度学习神经网络

于 2024-07-22 15:11:23 首次发布

本文链接：https://blog.csdn.net/2401_85375151/article/details/140610242

版权

在机器学习中，我们经常会使用余弦函数来计算向量之间的相似性。从推荐系统到自然语言处理，再到计算机视觉，余弦相似性在多种机器学习应用中都有其独特的价值。它不仅限于特定领域，而是几乎可以在任何需要比较向量相似度的场景下使用。
这里边有两个重要的概念：向量、余弦，这是中学阶段学习的内容，考虑到年代久远，很多同学可能对这两个概念比较模糊了，所以本文先从余弦和向量的概念讲起，带大家一步步深入了解。

什么是余弦？

余弦（余弦函数）是三角函数的一种。
在直角三角形中，某个锐角的余弦等于它的邻边与斜边的比值，比如下图中角A的余弦就可以这样计算：cosA=b/c 。

在非直角三角形中，我们可以使用余弦定理：任意三角形中任一边的平方等于其他两边的平方和减去这两边与夹角余弦乘积的两倍，用公式表达就是：
在这里插入图片描述

我们对这个公式做一下变换，余弦就可以表示为：
在这里插入图片描述

直角三角形中锐角的余弦计算其实是余弦定理的一个特例，计算过程如下：
（1）首先，我们了解直角三角形中的勾股定理:
在这里插入图片描述

（2）在这里插入图片描述

什么是向量？

考虑到有些同学可能对向量这个概念比较模糊了，我这里先做个简单的介绍：
向量最初应用于物理学，本意是有方向的量，比如加速度。后来这个概念被应用到了数学中，在几何中我们可以用一个有方向的线段来表示向量，线段的箭头代表向量的方向，线段的长度代表向量的大小。如下图所示：

线段R就是一个向量，我们还可以把它分解到a和b两个维度上，A和B称为向量的分量。
进一步，我们把可以把向量表示在平面直角坐标系中：

这是一个简单的二维向量（只有x、y两个维度），此时我们可以把向量表示为 a=(4,5)，其中(x,y)是点P的坐标。
在机器学习中，我们只要获取到某个事物在若干纬度上的特征，就可以创建一个向量。比如对于部分人群，我们可能要关注他们的年龄、收入、工作年份等特征，假设其中一个人的特征是：

年龄：30
收入：60000
工作年份：2014

映射后的向量就是：(30,60000,2014) ，这是一个三维向量。
在机器学习中，我们需要计算的向量通常有很多纬度，这很难通过图形进行描绘，不过高维向量和低维向量的计算方法都是相同的，所以后续将继续使用二维向量来说明相关原理。

余弦相似性有什么用？

余弦相似性是用来衡量两个向量之间相似程度的一种方法。简单来说，它告诉我们两个向量之间的“夹角”有多小，夹角越小，两个向量越相似。那这在实际生活中有什么用呢？让我举个例子来说明。
假设我们在构建一个电影推荐系统。首先，我们可以把每部电影的类型（比如动作、喜剧、科幻等）转换成一个向量。比如，一部电影可能会被表示为[1, 0, 1, 0, 0]，其中1代表该电影属于某种类型，而0代表不属于。
接下来，我们需要了解用户A的电影偏好。我们可以根据用户A之前看过的电影和他们的类型，生成一个用户偏好向量。比如，如果用户A喜欢动作和科幻电影，他们的偏好向量可能是[1, 0, 1, 0, 0]。
现在，关键的一步来了：我们使用余弦相似性来计算用户A的偏好向量和所有电影向量之间的相似度。这个相似度值越高，表示用户A越喜欢这部电影。
通过比较这些相似度值的大小，我们可以筛选出最符合用户A偏好的电影列表。这样一来，我们就可以为用户A推荐他们可能喜欢的新电影。
所以，余弦相似性在这个例子中起到了桥梁的作用，帮助我们从大量的电影中找到那些最符合用户偏好的选项。通过这种方式，我们能让用户更容易发现自己感兴趣的内容，提高用户的满意度。

如何计算向量之间的余弦？

我们还是从三角形的余弦定理出发：
在这里插入图片描述

a、b、c分别代表三条边的长度，θ是a和b的夹角。
在这个公式中，我们只要知道三角形三条边的长度就可以计算出余弦值。
为了计算余弦值，我们可以用向量构造一个三角形。
假设在一个二维坐标系中，我们有两个向量 A(4,2) 和 B(2,3)，现在只需要把 A 和 B 的终点连接起来，就能构造一个三角形，如下图所示：

因为 A 和 B 是已知向量，我们已经可以知道它们的长度，现在只需要第三条边的长度，我们就可以计算余弦了。

向量的减法

第3条边的计算需要依据向量减法的三角形法则，A-B 会产生一个新的向量 C：从B的终点出发指向A的终点，也就是三角形的第3条边。
用公式表达就是：C=A-B
那么第3条边的长度我们可以用 A-B 的长度来代替，余弦定理可以重新表达为：
在这里插入图片描述

这里 ||X|| 代表向量X的长度。
这样计算余弦，我们就只需要关注两个向量的相关计算逻辑，而不需要真的构造一个三角形。

向量的长度

向量的长度有一个专业化的名词：模长。长度就长度呗，为什么还单独起个名字？
在数学中，模通常指的是一个数的大小或者绝对值，不考虑其正负符号，比如 3和-3的模都是3。向量作为一个既有大小又有方向的概念，在讨论其大小时，我们只关心它的长度，而不考虑其指向，反映了从向量起点到终点的距离，而忽略了方向性。
模长的计算方法：向量中每个分量的平方和的开方值。比如上图中A向量终点的坐标为 (4,2)，那么向量A的长度就是：在这里插入图片描述

向量的点积

这里还要再引入一个新的概念：向量的点积，它是一种向量运算，接收两个向量作为输入，并返回一个标量值。如果有两个n维向量 A=[a1,a2,…,an] 和 B=[b1,b2,…,bn]，那么它们的点积定义为所有对应元素乘积的和：
在这里插入图片描述

向量长度的平方可以通过该向量与自身的点积来表示，也就是说：
在这里插入图片描述

这是可以推导出来的，根据上边向量长度的计算方法：
在这里插入图片描述

那么：
在这里插入图片描述

而向量A与自身的点积结果也是这个结果：
在这里插入图片描述

所以：在这里插入图片描述

使用点积计算余弦
我们再使用点积来表示余弦定理：

向量的点积遵循分配律、结合律和交换律：

分配率：a(b+c)=ab+a*c
结合律：(a+b)+c=a+(b+c)
交换律：ab=ba
那么上边的公式可以继续表达为：

然后我们可以约去等式两边都有的 A⋅A 和 B⋅B：

进一步约去 -2：

最终，可以得到余弦的新计算公式：

两个向量的余弦就等于它们的点积除以它们的模长乘积。
向量的点积和模长计算方法上边已经介绍过，对上图中的向量A(4,2)和向量B(2,3)，它们的余弦值可以计算为：

如此，只需要向量的值，我们就可以得出他们之间的余弦相似性了。

为什么余弦相似性不关心长度
余弦的特性
使用余弦相似性的情况下，长度不重要，方向才重要。我们可以通过下边的图来理解这个问题：
image.png
对于向量A和向量B，计算它们之间夹角的余弦值，我们可以从B向A发射一条垂线，构造一个直角三角形，然后用夹角的临边除以直角三角形的斜边（这是直角三角形中锐角余弦值的计算方法）。
如果我们缩小向量B的长度，临边和斜边的长度也会同步缩小，这对夹角余弦值的计算没有什么影响。
如果你还心存疑虑，我们可以做个计算。
对上图中的向量A(4,2)和向量B(2,3)，我们把上文中的余弦值计算结果拿过来：

现在我们把向量B缩小一半，改为(1,1.5)，重新计算夹角的余弦值：

结果还是一样的。

业务的选择
业务选择余弦来对比相似性，是因为数据的特征符合余弦相似性这种度量方法。
此类数据通常是一些分类特征，常见的有内容的主题、风格或者类别等。
举个为用户推荐电影的例子。
我们先将电影类型表示为如下向量：

喜剧：[1, 0, 0, 0, 0]
动作：[0, 1, 0, 0, 0]
爱情：[0, 0, 1, 0, 0]
科幻：[0, 0, 0, 1, 0]
恐怖：[0, 0, 0, 0, 1]
然后我们假设这样一个用户，他喜欢的电影类型是喜剧和科幻。
我们可以将用户的偏好表示为一个由喜剧和科幻向量加权平均得到的向量：

用户偏好：[0.5, 0, 0, 0.5, 0]
如果我们想要为这个用户推荐电影，我们就可以计算用户偏好向量与电影类型向量之间的余弦相似性，值越大，越值得推荐。

不适合余弦相似性度量的数据
连续的特征，比如评分或者活跃度之类的，它们表示用户对物品的喜好程度或使用频率。
使用向量比较此类数据时，向量长度就是一个很关键的指标。
如果用户给某个电影打了5星，我们不仅想要给用户推荐类似类型的电影，还想要推荐同样具备高评分的电影，此时仅用余弦相似性就不够了，我们可能还要加入距离的计算。
其它相似性算法超出了本文的范畴，这里就不多说了，有兴趣的同学可以去搜索下。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍