AI全知道-Embedding model中的Vector知识点

玩转AI大模型

于 2024-08-06 10:22:28 发布

阅读量414

点赞数 9

文章标签：人工智能 embedding javascript 前端 android llama 算法

本文链接：https://blog.csdn.net/2401_85375298/article/details/140948356

版权

在嵌入模型（Embedding Model）中，向量（Vector）是核心概念之一。向量表示法不仅是数学中的基本工具，也是机器学习和深度学习中处理高维数据的关键手段。本文将深入探讨向量在嵌入模型中的作用、表示方法、计算和应用等知识点。

一、向量的基本概念

向量是一个具有方向和大小的量，在嵌入模型中通常表示为一组实数序列。向量用于表示文本、图像、用户行为等高维数据，通过向量化的表示，使得复杂数据能够在低维空间中进行计算和分析。

二、向量的表示方法

在嵌入模型中，向量的表示方法多种多样，以下是几种常见的表示方法：

词向量（Word Vector）：表示单词的向量，常见模型有Word2Vec、GloVe、FastText等。
句子向量（Sentence Vector）：表示整个句子的向量，常用模型有Sentence-BERT等。
文档向量（Document Vector）：表示整个文档的向量，如Doc2Vec。
图像向量（Image Vector）：表示图像的向量，通常通过卷积神经网络（CNN）生成。
用户和物品向量（User and Item Vector）：在推荐系统中，表示用户和物品的向量。

三、向量计算

向量在嵌入模型中的计算主要包括以下几种操作：

向量加法和减法：在自然语言处理中，向量加法和减法常用于捕捉词语之间的关系。例如，向量(king) - 向量(man) + 向量(woman) ≈ 向量(queen)。
向量点积（Dot Product）：用于计算两个向量的相似度，例如在推荐系统中计算用户和物品向量的相似度。
向量范数（Norm）：表示向量的大小，常用的有L1范数和L2范数。
向量归一化（Normalization）：将向量的大小调整为单位长度，以便进行相似度计算。

四、向量在嵌入模型中的应用

词嵌入（Word Embedding）

Word2Vec：通过上下文词预测（Skip-Gram）或中心词预测（CBOW）方法，将单词映射到向量空间中。
GloVe：基于词共现矩阵，通过矩阵分解生成词嵌入。
FastText：考虑了词的子词信息，使得模型能处理未登录词。

句子嵌入（Sentence Embedding）

Sentence-BERT：在BERT基础上，通过句子对比学习生成句子向量。
InferSent：使用监督学习方法，通过自然语言推理任务训练句子嵌入。

文档嵌入（Document Embedding）

Doc2Vec：将整个文档表示为向量，扩展了Word2Vec的思想。

图像嵌入（Image Embedding）

卷积神经网络（CNN）：通过卷积层提取图像特征，生成图像向量。
深度残差网络（ResNet）：通过更深层的卷积网络，提高图像特征提取能力。

推荐系统

矩阵分解（Matrix Factorization）：将用户-物品交互矩阵分解为用户向量和物品向量，用于推荐计算。
深度学习方法：如深度协同过滤（Deep Collaborative Filtering），结合深度神经网络生成用户和物品向量。

五、向量在嵌入模型中的案例解析

案例一：Word2Vec的词向量生成（Word2Vec,并不是单一的算法，而是一系列模型架构和优化方法）

步骤：

数据准备：收集大量文本数据，进行分词和预处理。
模型训练：使用Skip-Gram或CBOW方法训练Word2Vec模型。
向量表示：获取单词的向量表示，并进行相似度计算。

from gensim.models import Word2Vec``   ``# 训练数据``sentences = [`    `["I", "love", "machine", "learning"],`    `["Machine", "learning", "is", "fun"],`    `["I", "enjoy", "learning", "new", "things"]``]``   ``# 训练Word2Vec模型``model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)``   ``# 获取词向量``vector = model.wv['learning']``print(vector)

案例二：矩阵分解在推荐系统中的应用

步骤：

数据收集：收集用户-物品交互数据，如点击、评分等。
矩阵分解：使用ALS或SGD对交互矩阵进行分解，得到用户和物品的嵌入向量。
推荐计算：通过计算用户向量和物品向量的相似度，生成推荐列表。

import numpy as np``from sklearn.decomposition import TruncatedSVD``   ``# 用户-物品交互矩阵``interaction_matrix = np.array([`    `[5, 3, 0, 1],`    `[4, 0, 0, 1],`    `[1, 1, 0, 5],`    `[1, 0, 0, 4],`    `[0, 1, 5, 4],``])``   ``# 矩阵分解``svd = TruncatedSVD(n_components=2)``user_vectors = svd.fit_transform(interaction_matrix)``item_vectors = svd.components_.T``   ``# 计算推荐``user_id = 0``scores = np.dot(user_vectors[user_id], item_vectors.T)``recommended_items = np.argsort(scores)[::-1]``   ``print(recommended_items)

六、写到最后

文章到这里，大家可能对向量和嵌入模型的关系还是有些不太理解，那么接下来的篇幅，我将重点阐述两者之间的关系。

向量是用来表示单词、短语或句子的数学对象。向量是一组有序的数值，可以用来捕捉语言中的语义和语法信息。

嵌入模型是通过学习将词或其他语言单位映射到向量空间中的模型。其目标是将具有相似语义的词映射到向量空间中相近的位置，从而捕捉词语之间的语义关系。常见的嵌入模型包括word2vec、GloVe和FastText等。

换句话说，向量是嵌入模型的最终产出，表示为一组数值（即多维空间中的一个点）；嵌入模型是生成这些向量的工具或方法。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

学习计划：

阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

全套《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享👈

在这里插入图片描述

玩转AI大模型

关注

9
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
AI全知道-Embedding model中的Vector知识点

文章到这里，大家可能对向量和嵌入模型的关系还是有些不太理解，那么接下来的篇幅，我将重点阐述两者之间的关系。向量是用来表示单词、短语或句子的数学对象。向量是一组有序的数值，可以用来捕捉语言中的语义和语法信息。嵌入模型是通过学习将词或其他语言单位映射到向量空间中的模型。其目标是将具有相似语义的词映射到向量空间中相近的位置，从而捕捉词语之间的语义关系。常见的嵌入模型包括word2vec、GloVe和FastText等。换句话说，向量是嵌入模型的最终产出，表示为一组数值（即多维空间中的一个点）；
复制链接

扫一扫