大模型开发 - 一文搞懂Embedding工作原理

于 2024-08-24 10:39:15 发布
阅读量757 收藏 24
点赞数 12
文章标签： embedding 大模型开发 AI大模型 LLM 大语言模型 大模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingkahui24689/article/details/141495946
版权

不懂Embedding，何以懂AI？

本文将从Text Embedding工作原理 、Image Embedding工作原理、Vedio _Embedding工作原理三个方面，带您一文搞懂Embedding工作原理。

Embedding可视化‍

**__**一、**__**_****_**_****_**_**_**_**_**Text Embedding工作原理**_**_**_**_**_****_**_****_

文本向量化（Text Embedding）： 将文本数据（词、句子、文档）表示成向量的方法。

词向量化将词转为二进制或高维实数向量，句子和文档向量化则将句子或文档转为数值向量，通过平均、神经网络或主题模型实现。

  • 词向量化：将单个词转换为数值向量。

  • 独热编码（One-Hot Encoding）：为每个词分配一个唯一的二进制向量，其中只有一个位置是1，其余位置是0。

  • 词嵌入（Word Embeddings）：如Word2Vec, GloVe, FastText等，将每个词映射到一个高维实数向量，这些向量在语义上是相关的。

词向量化

  • 句子向量化：将整个句子转换为一个数值向量。

  • 简单平均/加权平均：对句子中的词向量进行平均或根据词频进行加权平均。

  • 递归神经网络（RNN）：通过递归地处理句子中的每个词来生成句子表示。

  • 卷积神经网络（CNN）：使用卷积层来捕捉句子中的局部特征，然后生成句子表示。

  • 自注意力机制（如Transformer）：如BERT模型，通过对句子中的每个词进行自注意力计算来生成句子表示。

BERT句子向量化

  • 文档向量化：将整个文档（如一篇文章或一组句子）转换为一个数值向量。

  • 简单平均/加权平均：对文档中的句子向量进行平均或加权平均。

    文档主题模型（如LDA）：通过捕捉文档中的主题分布来生成文档表示。

    层次化模型：如Doc2Vec，它扩展了Word2Vec，可以生成整个文档的向量表示。

文档向量化

统计方法用TF-IDF和N-gram统计生成文本向量，而神经网络方法如Word2Vec、GloVe等通过深度学习学习文本向量。

  • 基于统计的方法

  • TF-IDF：通过统计词频和逆文档频率来生成词向量或文档向量。

  • N-gram：基于统计的n个连续词的频率来生成向量。

TF-IDF

  • 基于神经网络的方法

  • 词嵌入：

    Word2Vec：通过预测词的上下文来学习词向量。

    GloVe：通过全局词共现统计来学习词向量。

    FastText：考虑词的n-gram特征来学习词向量。

  • 句子嵌入：

    RNN：包括LSTM和GRU，可以处理变长句子并生成句子向量。

    Transformer：使用自注意力机制和位置编码来处理句子，生成句子向量。

  • 文档嵌入：

    Doc2Vec：扩展了Word2Vec，可以生成整个文档的向量表示。

    BERT：基于Transformer的预训练模型，可以生成句子或短文档的向量表示。

Word2Vec

工作原理：将离散的文字信息（如单词）转换成连续的向量数据。这样，语义相似的词在向量空间中位置相近，并通过高维度捕捉语言的复杂性。

  • 将离散信息（如单词、符号）转换为分布式连续值数据（向量）。

  • 相似的项目（如语义上相近的单词）在向量空间中被映射到相近的位置。

  • 提供了更多的维度（如1536个维度）来表示人类语言的复杂度。

举例来讲，这里有三句话：

  • “The cat chases the mouse” 猫追逐老鼠。

  • “The kitten hunts rodents” 小猫捕猎老鼠。

  • “I like ham sandwiches” 我喜欢火腿三明治。

人类能理解句子1和句子2含义相近，尽管它们只有“The”这个单词相同。但计算机需要Embedding技术来理解这种关系。Embedding将单词转换为向量，使得语义相似的句子在向量空间中位置相近。这样，即使句子1和句子2没有很多共同词汇，计算机也能理解它们的相关性。

如果是人类来理解，句子 1 和句子 2 几乎是同样的含义，而句子 3 却完全不同。但我们看到句子 1 和句子 2 只有“The”是相同的，没有其他相同词汇。计算机该如何理解前两个句子的相关性？

Embedding将单词转换为向量，使得语义相似的句子在向量空间中位置相近。这样，即使句子1和句子2没有很多共同词汇，计算机也能理解它们的相关性。

向量空间可视化

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈


_**二、**__**_**_**_**_****_**_****_****_**_**_**_**_**Image Embedding工作原理**_**_**_**_**_****_****_**_****_**_**_**_**_

图像向量化（Image Embedding）：将图像数据转换为向量的过程。

卷积神经网络和自编码器都是用于图像向量化的有效工具，前者通过训练提取图像特征并转换为向量，后者则学习图像的压缩编码以生成低维向量表示。

  • 卷积神经网络（CNN）：通过训练卷积神经网络模型，我们可以从原始图像数据中提取特征，并将其表示为向量。例如，使用预训练的模型（如VGG16, ResNet）的特定层作为特征提取器。

  • 自编码器（Autoencoders）：这是一种无监督的神经网络，用于学习输入数据的有效编码。在图像向量化中，自编码器可以学习从图像到低维向量的映射。

CNN

_工作原理：_通过算法提取图像的关键特征点及其描述符，将这些特征转换为高维向量表示，使得在向量空间中相似的图像具有相近的向量表示，从而便于进行图像检索、分类和识别等任务。

  • 特征提取：使用算法（如SIFT、SURF、HOG等）从图像中提取关键特征点及其描述符。

  • 高维空间：图像向量通常在高维空间中表示，每个维度对应一个特征或特征描述符。

  • 相似度度量：在向量空间中，可以使用距离度量（如欧氏距离、余弦相似度等）来比较不同图像向量的相似度。

图像向量化

_**三、**__**_**_**Vedio**_ _**Embedding工作原理**_**_**_

视频向量化 （Vedio Embedding）：OpenAI的Sora将视觉数据转换为图像块（Turning visual data into patches）。

  • 视觉块的引入： 为了将视觉数据转换成适合生成模型处理的格式，研究者提出了视觉块嵌入编码（visual patches）的概念。这些视觉块是图像或视频的小部分，类似于文本中的词元。

  • 处理高维数据： 在处理高维视觉数据时（如视频），首先将其压缩到一个低维潜在空间。这样做可以减少数据的复杂性，同时保留足够的信息供模型学习。

将视觉数据转换为图像块

工作原理： Sora 用visual patches 代表被压缩后的视频向量进行训练，每个patches相当于GPT中的一个token。使用patches，可以对视频、音频、文字进行统一的向量化表示，和大模型中的 tokens 类似，Sora用 patches 表示视频，把视频压缩到低维空间（latent space）后表示为Spacetime patches。

OpenAI大模型的核心架构：大力出奇迹。Embedding技术实现文本、图像、视频等数据向量化表示，为大型模型提供了丰富的特征输入。只要模型规模足够大，这些向量化数据就能驱动模型生成各种所需的内容，体现了“万物皆可生成”的能力。
在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

三、AI大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四、AI大模型各大场景实战案例

在这里插入图片描述

结语

【一一AGI大模型学习 所有资源获取处（无偿领取）一一】
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

功城师
关注
  • 12
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于luotuo大语言模型的embedding方法
06-27
应用于向量搜素，文本匹配，文本聚类 ，少样本的分类学习，文本数据可视化，效果相比于传统的方法性能大幅度提升
基础篇：大模型实战-Embedding（第三节课）
09-19
### 基础篇：大模型实战—Embedding（第三节课）知识点解析 #### 一、图灵测试的理解与选择题解析 1. **题目**：“以下哪个观点更接近‘图灵测试’的原则？” - A. 人工智能必须具备自我意识。 - B. 人工智能...
【大模型开发】 一文搞懂Embedding工作原理_embedding原理
qingkahui24689的博客
08-01 910
本文详细介绍了TextEmbedding（文本嵌入）、ImageEmbedding（图像嵌入）和VedioEmbedding（视频嵌入）的工作原理，涵盖了词向量化、句子和文档表示、CNN、自编码器等技术，展示了Embedding如何将离散信息转化为向量，以便于机器理解语义相似性。
【大模型开发】 一文搞懂Embedding工作原理
qq_39172059的博客
03-12 1万+
本文将从三个方面，带您一文搞懂。
大模型开发 - 一文搞懂Encoder-Decoder工作原理
顺其自然~专栏
03-09 1684
通过计算Decoder的隐藏状态与Encoder输出的每个词的隐藏状态的相似度（Score），进而得到每个词的Attention Weight，再将这些Weight与Encoder的隐藏状态加权求和，生成一个Context Vector。1）编码器（Encoder）：使用一个循环神经网络（RNN）作为编码器（Encoder），读取输入句子，并将其压缩成一个固定维度的编码。2）Attention 机制像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
结构之法 算法之道
12-31 2万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
一文彻底搞懂Transformer - Word Embedding（词嵌入）
2401_85377976的博客
08-15 818
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
大模型开发 - 一文搞懂人工智能基础（下）：神经网络结构
最新发布
qingkahui24689的博客
08-23 743
本文将从什么是CNN？什么是RNN？什么是Transformer？三个问题，带您一文搞懂人工智能基础（下）：神经网络结构。
大模型应用（十一）一文搞懂RAG，原理，流程，最佳实践
m0_63171455的博客
07-27 793
最近遇到好多人和我交流RAG相关的技术，同事在说，面试在说，甚至我多年未联系的挚爱亲朋都突然来问我RAG是个啥？要怎么搞？我印象中22年23年，讨论大模型应用，都在讲三个方向。但是随着越来越多的应用被开发出来，RAG相对另外两者稍显走弱。我们组今年甚至几乎没有RAG相关的规划，都还在之前搭的老一套上用。所以，一文搞懂RAG。为了减少的大小，可以先拼接，再总结，再发给大模型进行处理。不过这种用法很少见，一般是把这个小模型直接做在模型层面，和大模型一起做成一个混合模型，并且会做大量的意图识别的训练。
【大模型开发 】 一文搞懂Fine-tuning（大模型微调）
热门推荐
qq_39172059的博客
03-13 2万+
本文将从三个方面，带您一文搞懂。一、微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。二、微调的核心原因定制化功能：微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。领域知识学习：通过引入特定领域的数据集进行微调，大模型可以学习该领域的知识和语言模式。这有助于模型在特定任务上取得更好的性能。
大模型Chain-of-Thought（CoT）与Agent基础知识与介绍
夏栀的博客
06-04 1255
大语言模型Chain-of-Thought与Agent
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s
05-28
经过处理的腾讯中文词汇/短语向量 tencent-ailab-embedding-zh-d200-v0.2.0-s。包含使用方法和训练方法。
Toward profit-seeking virtual network embedding algorithm via global resource capacity
02-09
本文提出了一种新的度量标准——全局资源容量（Global Resource Capacity，简称GRC），用以量化每个底层节点的嵌入潜力，并提出了一种有效的启发式虚拟网络嵌入（Virtual Network Embedding，简称VNE）算法，称为GRC...
词向量模型embedding-master.zip
04-28
在“embedding-master.zip”这个压缩包中，很可能包含了一个关于词向量模型的研究项目或者教程。下面我们将深入探讨词向量模型及其在NLP中的应用。 词向量模型的起源可以追溯到20世纪80年代的“词袋模型”（Bag-of-...
《AI大模型应用》--基于BM25、BGE、OpenAI Embedding检索算法的检索增强生成RAG.zip
07-19
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
大白话Bert-掌握最前沿Embedding结构
06-20
它改变了传统NLP模型的训练方式，从单向理解转变为双向理解，极大地提升了语言模型的表达能力。本课程将深入浅出地讲解BERT的核心原理、训练过程以及如何进行微调，以实现实例中的应用。 BERT模型基于Transformer...
In-Situ_De-embedding.pdf
10-09
2. In-Situ De-embedding（ISD）的原理与应用 ISD技术通过将测试夹具的影响从测量数据中去除，来恢复被测单元（DUT）的实际特性。例如，可以使用双端口扩展的传输线校准（TRL）进行去嵌入，或者使用2x thru或1x open...
Test-Fixture De-Embedding 101.pdf
08-06
Test-Fixture De-Embedding 101
前言本文将从Embedding的本质、Embedding的原理、Embedding的应用三个方面，带您一文搞懂Embedding（嵌入）。
08-15
前言部分，Embedding（嵌入）主要涉及以下几个方面： 1. **本质**[^4]: Embedding是一种技术，它将非结构化的数据（如文本中的单词、音频中的音素或图像中的像素）转换成低维向量形式，这些向量保留了原始数据的一些关键信息，使得机器可以理解并处理它们。[^4] 2. **原理**[^5]: 基本原理在于，每个输入（如单词）都被映射到一个多维度空间中的一个位置，这个位置上的坐标表示该输入的语义特征。通过学习大量数据，模型自动捕捉到了单词之间的语义关系，相似的词在向量空间中的距离较近。[^5] 3. **应用**[^6]: - **自然语言处理** (NLP): 如Word2Vec和GloVe用于生成单词的词向量，帮助模型理解和计算词语之间的关联性。 - **推荐系统**: 商品、用户或标签可能被转化为低维向量，以便于发现用户的兴趣相似性和物品的相关性。 - **深度学习**: 比如在神经网络中，Embedding层作为输入层的一部分，提供对输入数据高效处理的基础。 深入理解Embedding，可以从实际项目中实践，比如训练自己的词嵌入模型或者在预训练的模型（如BERT）中观察嵌入向量的行为。[^6]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值