什么是Embedding

最新推荐文章于 2024-03-05 15:27:36 发布
最新推荐文章于 2024-03-05 15:27:36 发布
阅读量1k 收藏
点赞数
文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hodors/article/details/128769086
版权

什么是Embedding

Embedding 这样一种将离散变量转变为连续向量的方式为神经网络在各方面的应用带来了极大的扩展。——Ethan

embedding是一个低维空间，能够让你将高维向量映射到这个低维空间中。

image-20230125224629181

image-20230125225311589

这个空间能够捕获到输入的语义，通过将相似输入，投影到相近的位置。——我感觉embedding就像一个“场”。

embedding能够被学习到，说白了，就是一个模型。embedding还能够被重复使用。

https://towardsdatascience.com/neural-network-embeddings-explained-4d028e6f0526

image-20230125225516167

embedding又是一种方法。

An embedding is a mapping of a discrete — categorical — variable to a vector of continuous numbers.
fK0pS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
什么是Embedding1
08-08
输入表征可以是原始的文字、声音、图像信息，也可以是另一种矢量数据。Embedding可以对原始矢量，如one-hot矢量，在保留本征信息的情况下进行转换和降维处
embedding理解.pdf
04-08
embedding理解.pdf
什么是embedding？
热门推荐
weixin_44493841的博客
07-10 10万+
本文转自：https://www.jianshu.com/p/6c977a9a53de 　　 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...
大模型相关知识
u013092227的博客
08-14 2308
简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。
【AIGC调研系列】embeding模型有哪些，各有什么优势
最新发布
zachary的博客
03-05 2339
在AIGC中，Embedding模型是一种将文本数据转换为多维向量数组的技术，这些向量可以代表任何事物，如文本、音乐、视频等。有几种不同的Embedding模型，它们各有其优势和应用领域。
用通俗易懂的方式讲解：对 embedding 模型进行微调，我的大模型召回效果提升了太多了
2301_78285120的博客
01-12 3425
对embedding模型进行微调的过程中需要使用GPU加速训练，我这里就使用了Google colab提供的免费T4GPU进行微调测试。如果大家没办法使用这个，可以使用国内一些公司的GPU云平台，租便宜的GPU就行，微调这个模型所耗费的GPU资源不多。以下所有训练代码皆是在Jupter-notebook上编写并执行的。
文本 Embedding 基本概念和应用实现原理
Dify
08-03 2151
作者：何文斯 - Vince，LLM 应用研究者，Dify 团队产品经理，对 LLM 应用、Embedding、LangChian 等保持持续关注和深度研究。大语言模型之上的应用层面有三项技术需要理解：提示词工程（Prompt Engineering）；嵌入（Embedding）；微调（Fine-tuning）。其中 Embedding 作为大语言模型理解文本语义的重要技术，在搜索引擎、构建私有知识问答系统、内容推荐系统等都有相当广泛的应用。本文作为我的一篇个人技术笔记在整理了一周后分享到公众号内。
闻达 | M3E，开源中文 Embedding 模型新 SOTA
sinat_30045277的博客
06-14 2万+
M3E 是 Moka Massive Mixed Embedding 的缩写 Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zh Massive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练 Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索 Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量
【文本分类】深入理解embedding层的模型、结构与文本表示
十一月廿七风雨大作
12-09 1万+
深入理解embedding层的模型、结构与文本表示
深入理解embedding
不知名网友的文章
06-09 1525
在广告系统中，ctr、cvr预估模型训练时通常将样本转换成embedding输入网络进行训练，得到最终的预估值。embedding被称为sparse model、大模型等，是模型训练和预估中极其重要的一环。但关于embedding的含义和使用对于非科班人士比较晦涩，在这里对embedding的引入、含义、应用作系统性的介绍。
深度模型（五）：Embedding
Jony0917的专栏
08-03 2852
Embedding NLP领域通常用语言模型来做预训练，得到单词的Embedding向量，用于其他NLP下游任务的输入。 语言模型 什么是语言模型？就是某种语言中，一个句子SSS出现的概率： P(S)P(S)P(S) 自然语言的基本构成元素是词，那么语句SSS的概率可以表示为： P(S)=P(w1,w2,...,wn)P(S)=P(w_1,w_2,...,w_n)P(S)=P(w1​,w2​,.....
【文本特征表征（1）】什么是embedding（把物体编码为一个低维稠密向量）pytorch中nn.Embedding原理及使用，大模型的LMAS.Embedding原理及使用
Hali_Botebie的博客
06-15 1万+
使embedding空前流行的“word2vec”到了深度学习时代，我们一定会首先想到 2013 年的 Word2Vec——没错，句子是由词构成的，有了词向量，句子向量自然而然呼之欲出了。直觉看，直接对每个词的向量拼接、求和、逐元素相乘、取平均值或最大值，得到的向量都可以表示为句子向量。当然，这里面也有一些花样，比如加权重求和：权重可以根据词性、句法结构等设定一个固定值，然后对每个位置的词向量乘权重再求和；权重也可以根据输入向量来，输出向量的_每个元素_都根据输入元素向量进行加权求和。
myEmb_embedding_
10-03
将一段网络的networkx(graph)数据进行嵌入
rnn_embedding_1.py
02-23
rnn_embedding_1.py
基于luotuo大语言模型的embedding方法
06-27
应用于向量搜素，文本匹配，文本聚类 ，少样本的分类学习，文本数据可视化，效果相比于传统的方法性能大幅度提升
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
结构之法 算法之道
12-31 1万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
Embedding理解+代码
YCCNUST的博客
07-15 1747
Embedding skip-gram手写代码 Deepwalk代码
一文读懂「Embedding」嵌入技术
女王の专属领地
01-31 1673
Embedding 是一种将高维数据（如文本或图像）转换为较低维度的向量表示的技术。这种表示捕捉了数据的关键特征，使得在处理、分析和机器学习任务中更加高效。通常用于将离散的、非连续的数据转换为连续的向量表示，以便于计算机进行处理。“Embedding”直译是嵌入式、嵌入层。通俗讲，我们常见的地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。
embedding是什么
06-13
Embedding是深度学习中用于将离散型数据（如单词、用户ID等）转换为连续型向量的技术。在自然语言处理领域中，我们通常使用Embedding来将每个单词映射到一个向量空间中的固定大小的向量，使得相似的单词在向量空间中的距离也很接近，从而方便计算机进行处理。类似的技术也可以应用于其他领域，如图像处理、推荐系统等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值