大模型开发 - 一文搞懂Embedding工作原理

于 2024-08-20 16:57:02 发布
阅读量507 收藏 19
点赞数 15
文章标签： embedding langchain 大模型 LLM 人工智能 产品经理 AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Langchain/article/details/141362834
版权

本文将从Text Embedding工作原理 、 Image Embedding工作原理 、Vedio Embedding工作原理三个方面，带您一文搞懂Embedding工作原理。

Embedding可视化

一、 Text Embedding工作原理

文本向量化 （Text Embedding） ：将文本数据（词、句子、文档）表示成向量的方法。

词向量化将词转为二进制或高维实数向量，句子和文档向量化则将句子或文档转为数值向量，通过平均、神经网络或主题模型实现。

  • 词向量化：将单个词转换为数值向量。
    • 独热编码（One-Hot Encoding）：为每个词分配一个唯一的二进制向量，其中只有一个位置是1，其余位置是0。
    • 词嵌入（Word Embeddings）：如Word2Vec, GloVe, FastText等，将每个词映射到一个高维实数向量，这些向量在语义上是相关的。

在这里插入图片描述

词向量化

  • 句子向量化：将整个句子转换为一个数值向量。
    • 简单平均/加权平均：对句子中的词向量进行平均或根据词频进行加权平均。
    • 递归神经网络（RNN）：通过递归地处理句子中的每个词来生成句子表示。
    • 卷积神经网络（CNN）：使用卷积层来捕捉句子中的局部特征，然后生成句子表示。
    • 自注意力机制（如Transformer）：如BERT模型，通过对句子中的每个词进行自注意力计算来生成句子表示。

在这里插入图片描述

BERT句子向量化

  • 文档向量化：将整个文档（如一篇文章或一组句子）转换为一个数值向量。
    • 简单平均/加权平均：对文档中的句子向量进行平均或加权平均。
  •    文档主题模型（如LDA）：通过捕捉文档中的主题分布来生成文档表示。

  •    层次化模型：如Doc2Vec，它扩展了Word2Vec，可以生成整个文档的向量表示。************

在这里插入图片描述

文档向量化

统计方法用TF-IDF和N-gram统计生成文本向量，而神经网络方法如Word2Vec、GloVe等通过深度学习学习文本向量。

  • 基于统计的方法
  • TF-IDF：通过统计词频和逆文档频率来生成词向量或文档向量。
  • N-gram：基于统计的n个连续词的频率来生成向量。

在这里插入图片描述

TF-IDF

  • 基于神经网络的方法
  • 词嵌入：
  •   Word2Vec：通过预测词的上下文来学习词向量。

  •   GloVe：通过全局词共现统计来学习词向量。

  •   FastText：考虑词的n-gram特征来学习词向量。
  • 句子嵌入：
  •   RNN：包括LSTM和GRU，可以处理变长句子并生成句子向量。

  •   Transformer：使用自注意力机制和位置编码来处理句子，生成句子向量。
  • 文档嵌入：
  •   Doc2Vec：扩展了Word2Vec，可以生成整个文档的向量表示。

  •   BERT：基于Transformer的预训练模型，可以生成句子或短文档的向量表示。

在这里插入图片描述

Word2Vec

*工作原理： *将离散的文字信息（如单词）转换成连续的向量数据。这样，语义相似的词在向量空间中位置相近，并通过高维度捕捉语言的复杂性。

  • 将离散信息（如单词、符号）转换为分布式连续值数据（向量）。
  • 相似的项目（如语义上相近的单词）在向量空间中被映射到相近的位置。
  • 提供了更多的维度（如1536个维度）来表示人类语言的复杂度。

举例来讲，这里有三句话：

  • “The cat chases the mouse” 猫追逐老鼠。
  • “The kitten hunts rodents” 小猫捕猎老鼠。
  • “I like ham sandwiches” 我喜欢火腿三明治。

人类能理解句子1和句子2含义相近，尽管它们只有“The”这个单词相同。但计算机需要Embedding技术来理解这种关系。Embedding将单词转换为向量，使得语义相似的句子在向量空间中位置相近。这样，即使句子1和句子2没有很多共同词汇，计算机也能理解它们的相关性。

如果是人类来理解，句子 1 和句子 2 几乎是同样的含义，而句子 3 却完全不同。但我们看到句子 1 和句子 2 只有“The”是相同的，没有其他相同词汇。计算机该如何理解前两个句子的相关性？

Embedding将单词转换为向量，使得语义相似的句子在向量空间中位置相近。这样，即使句子1和句子2没有很多共同词汇，计算机也能理解它们的相关性。

在这里插入图片描述

向量空间可视化

二、 Image Embedding工作原理

图像向量化 *（Image Embedding） ： 将图像数据转换为向量的过程 。

卷积神经网络和自编码器都是用于图像向量化的有效工具，前者通过训练提取图像特征并转换为向量，后者则学习图像的压缩编码以生成低维向量表示。

  • 卷积神经网络（CNN）：通过训练卷积神经网络模型，我们可以从原始图像数据中提取特征，并将其表示为向量。例如，使用预训练的模型（如VGG16, ResNet）的特定层作为特征提取器。
  • 自编码器（Autoencoders）：这是一种无监督的神经网络，用于学习输入数据的有效编码。在图像向量化中，自编码器可以学习从图像到低维向量的映射。****

在这里插入图片描述

CNN

*工作原理： *通过算法提取图像的关键特征点及其描述符，将这些特征转换为高维向量表示，使得在向量空间中相似的图像具有相近的向量表示，从而便于进行图像检索、分类和识别等任务。

  • 特征提取：使用算法（如SIFT、SURF、HOG等）从图像中提取关键特征点及其描述符。
  • 高维空间：图像向量通常在高维空间中表示，每个维度对应一个特征或特征描述符。
  • 相似度度量：在向量空间中，可以使用距离度量（如欧氏距离、余弦相似度等）来比较不同图像向量的相似度。

在这里插入图片描述

图像向量化

三、 Vedio Embedding工作原理**

视频向量化 *（Vedio Embedding）： *OpenAI的Sora将视觉数据转换为图像块（Turning visual data into patches）。

  • 视觉块的引入： 为了将视觉数据转换成适合生成模型处理的格式，研究者提出了视觉块嵌入编码（visual patches）的概念。这些视觉块是图像或视频的小部分，类似于文本中的词元。
  • 处理高维数据： 在处理高维视觉数据时（如视频），首先将其压缩到一个低维潜在空间。这样做可以减少数据的复杂性，同时保留足够的信息供模型学习。

在这里插入图片描述

将视觉数据转换为图像块

*工作原理： Sora 用visual patches 代表被压缩后的视频向量进行训练，每个patches相当于GPT中的一个token。使用patches，可以对视频、音频、文字进行统一的向量化表示，和大模型中的 tokens 类似，Sora用 patches 表示视频，把视频压缩到低维空间（latent space）后表示为Spacetime patches。

OpenAI大模型的核心架构：大力出奇迹。 Embedding技术实现文本、图像、视频等数据向量化表示，为大型模型提供了丰富的特征输入。只要模型规模足够大，这些向量化数据就能驱动模型生成各种所需的内容，体现了“万物皆可生成”的能力**

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
  • 15
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型应用中大部分人真正需要去关心的核心——Embedding
u013250861的博客
11-09 496
我们现在一说到大模型，往往说的就是ChatGPT、Llama，或者国产的ChatGLM、文心一言等等。但是，那些大模型一般只属于大厂，对于大部分人来说，我们更多的角色是大模型的使用者，或者是基于大模型来开发应用。大模型主要应用：这部分目前也是大模型最被人所知的应用，但chat功能我们已经有ChatGPT、Claude、文心一言、通义千问等一众产品可以用，对于大部分人来说，我们是消费者；
【大模型开发】 一文搞懂Embedding工作原理
qq_39172059的博客
03-12 1万+
本文将从三个方面，带您一文搞懂。
认识大模型Embedding技术，加代码实战
python12222_的博客
06-14 1235
Embedding （嵌入）是一个浮点数的向量（列表）。两个向量之间的距离度量它们的相关性，小的距离表示高相关性，大的距离表示低相关性。Embedding （嵌入）也是是一种在机器学习和深度学习中广泛应用的技术，特别是自然语言处理（NLP）和其他涉及高维离散数据的领域。它指的是将原本高维且通常是离散的输入数据（如单词、短语、用户ID、商品ID等）映射到一个低维连续向量空间中的过程。这些低维向量称为嵌入（Embedding vectors）。例如，“国王”和“王后”在嵌入向量的空间里，位置就会挨得很近；
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 1065
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
大数据小禅的博客
05-23 1761
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s
05-28
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s。包含使用方法和训练方法。
基于luotuo大语言模型的embedding方法
06-27
应用于向量搜素，文本匹配，文本聚类 ，少样本的分类学习，文本数据可视化，效果相比于传统的方法性能大幅度提升
基础篇：大模型实战-Embedding（第三节课）
09-19
### 基础篇：大模型实战—Embedding（第三节课）知识点解析 #### 一、图灵测试的理解与选择题解析 1. **题目**：“以下哪个观点更接近‘图灵测试’的原则？” - A. 人工智能必须具备自我意识。 - B. 人工智能...
Toward profit-seeking virtual network embedding algorithm via global resource capacity
02-09
本文提出了一种新的度量标准——全局资源容量（Global Resource Capacity，简称GRC），用以量化每个底层节点的嵌入潜力，并提出了一种有效的启发式虚拟网络嵌入（Virtual Network Embedding，简称VNE）算法，称为GRC...
词向量模型embedding-master.zip
04-28
在“embedding-master.zip”这个压缩包中，很可能包含了一个关于词向量模型的研究项目或者教程。下面我们将深入探讨词向量模型及其在NLP中的应用。 词向量模型的起源可以追溯到20世纪80年代的“词袋模型”（Bag-of-...
大模型时代Embedding技术简介
ling的专栏
07-13 1162
在机器学习和自然语言处理中，embedding是指将高维度的数据（例如文字、图片、音频）映射到低维度空间的过程。embedding向量通常是一个由实数构成的向量，它将输入的数据表示成一个连续的数值空间中的点。embedding就是一个N维的实值向量，它几乎可以用来表示任何事情，如文本、音乐、视频等。本文主要关注文本的embedding。embedding重要性在于它可以表示单词或者语句的语义。实值向量的embedding可以表示单词的语义。
大模型相关知识
u013092227的博客
08-14 3496
简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。
大模型基础03：Embedding 实战本地知识问答
AaronZZH 的博客
08-16 1004
互联网时代，人们调用搜索引擎获取互联网上的非结构化的知识。而对于大语言模型而言，知识以参数的形式储存在模型中，通过自然语言的 Prompt 问答的方式就可以直接调用这些知识。可通过基于 Embedding 搜索 + 问答的模式，解决大模型没有最新数据或者输入长度限制的问题。
神经网络算法：一文搞懂 Embedding（嵌入）
2401_84033492的博客
04-02 3462
本文将从Embedding的本质、Embedding的原理、Embedding的应用三个方面，带您一文搞懂Embedding（嵌入）。
AIGC系列之一-一文理解什么是Embedding嵌入技术
人工智能讲师分享前沿技术
06-23 861
Embedding向量是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。使用通俗易懂的语言来表达embedding技术，是使用一种模型生成方法，将非结构化的数据，例如文本、图片、视频等数据映射成向量数据，向量都是由数值表达的向量，向量可以被计算机直接处理。GloVe（Global Vectors for Word Representation）是一种用于自然语言处理的词嵌入模型，它与其他常见的词嵌入模型（如Word2Vec和FastText）类似，可以将单词转化为连续的向量表示。
一文读懂Embedding的概念，以及它和深度学习的关系
qq_52156377的博客
08-30 784
另外，向量间的距离也可能会建立联系，比方说“北京”是“中国”的首都，“巴黎”是“法国”的首都，那么向量：|中国|-|北京|=|法国|-|巴黎|再走近20厘米，又发现耳朵也不同，最后，在距离屏幕10厘米的地方，终于发现第四个不同的地方在眼睛的高光。而一维列表，你能很快算出来？先不管它什么意思，这个过程，我们把一个A中的12个元素的矩阵变成C中6个元素的矩阵，直观上，大小是不是缩小了一半？比如：其实我们这篇文章，虽然100W字，但是其实我们整合起来，有99W字是重复的，只有1W字是完全不重复的。......
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 2万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
embedding的原理和结构
m0_46311043的博客
02-29 1275
(向量化)是一个将数据转化为向量矩阵的过程，作用是：将高维稀疏向量转化为稠密向量，从而方便下游模型处理简单的概念大家应该都知道了，以LLM为例输入：文字模型：embedding输出：向量我疑惑的难点主要为以下：1.embedding的结构√2.embedding的训练（根据不同的目标进行数据不同的组织形式，进行相对应任务的训练，可以看结构想到）3.embedding的难点以及各种模型的优势（未解决）
Embedding原理到实战
KaikebaAI的博客
03-09 1742
原创：王稳钺 资料来源：张春阳 词向量被应用在非常非常多的场景中，甚至可以说跟文字相关的互联网应用基本上都会跟词向量有关系。本文主要从应用、发展以及实战代码来介绍词向量。 1. 词向量的应用 搜索引擎是人们每天都在使用的产品，搜索引擎其实就是利用词向量技术来进行搜索的。搜索引擎是如何工作的呢？其实主要分为三步。第一步，搜索引擎需要爬取互联网上所有的文章，把这些文章全部都转化成词向量。第二步是要将搜索词也转化为词向量。最后一步就是用搜索词的词向量与文章转变成的词向量进行相似度的比较，再把与搜索词相似的文章返回
前言本文将从Embedding的本质、Embedding的原理、Embedding的应用三个方面，带您一文搞懂Embedding（嵌入）。
最新发布
08-15
前言部分，Embedding（嵌入）主要涉及以下几个方面： 1. **本质**[^4]: Embedding是一种技术，它将非结构化的数据（如文本中的单词、音频中的音素或图像中的像素）转换成低维向量形式，这些向量保留了原始数据的一些关键信息，使得机器可以理解并处理它们。[^4] 2. **原理**[^5]: 基本原理在于，每个输入（如单词）都被映射到一个多维度空间中的一个位置，这个位置上的坐标表示该输入的语义特征。通过学习大量数据，模型自动捕捉到了单词之间的语义关系，相似的词在向量空间中的距离较近。[^5] 3. **应用**[^6]: - **自然语言处理** (NLP): 如Word2Vec和GloVe用于生成单词的词向量，帮助模型理解和计算词语之间的关联性。 - **推荐系统**: 商品、用户或标签可能被转化为低维向量，以便于发现用户的兴趣相似性和物品的相关性。 - **深度学习**: 比如在神经网络中，Embedding层作为输入层的一部分，提供对输入数据高效处理的基础。 深入理解Embedding，可以从实际项目中实践，比如训练自己的词嵌入模型或者在预训练的模型（如BERT）中观察嵌入向量的行为。[^6]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值