PaddleNLP Embedding API

最新推荐文章于 2024-07-05 10:24:02 发布
最新推荐文章于 2024-07-05 10:24:02 发布
阅读量890 收藏 3
点赞数 1
分类专栏： PaddleNLP 文章标签： paddle python
原文链接：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/embeddings.md
版权

PaddleNLP Embedding API

介绍

PaddleNLP提供多个开源的预训练词向量模型，用户仅需在使用paddlenlp.embeddings.TokenEmbedding时，指定预训练模型的名称，即可加载相对应的预训练模型。以下将介绍TokenEmbeddign详细用法，并列出PaddleNLP所支持的预训练Embedding模型。

用法

TokenEmbedding参数

参数类型属性
embedding_namestring预训练embedding名称，可通过paddlenlp.embeddings.list_embedding_name()或Embedding 模型汇总查询。
unknown_tokenstringunknown token。
unknown_token_vectorlist 或者 np.array用来初始化unknown token对应的vector。默认为None（以正态分布方式初始化vector）
extended_vocab_pathstring扩展词表的文件名路径。词表格式为一行一个词。
trainablebool是否可训练。True表示Embedding可以更新参数，False为不可更新。

初始化

import paddle
from paddlenlp.embeddings import TokenEmbedding, list_embedding_name
paddle.set_device("cpu")

# 查看预训练embedding名称：
print(list_embedding_name()) # ['w2v.baidu_encyclopedia.target.word-word.dim300']

# 初始化TokenEmbedding， 预训练embedding没下载时会自动下载并加载数据
token_embedding = TokenEmbedding(embedding_name="w2v.baidu_encyclopedia.target.word-word.dim300")

# 查看token_embedding详情
print(token_embedding)

Object   type: <paddlenlp.embeddings.token_embedding.TokenEmbedding object at 0x7fda7eb5f290>
Unknown index: 635963
Unknown token: [UNK]
Padding index: 635964
Padding token: [PAD]
Parameter containing:
Tensor(shape=[635965, 300], dtype=float32, place=CPUPlace, stop_gradient=False,
       [[-0.24200200,  0.13931701,  0.07378800, ...,  0.14103900,  0.05592300, -0.08004800],
        [-0.08671700,  0.07770800,  0.09515300, ...,  0.11196400,  0.03082200, -0.12893000],
        [-0.11436500,  0.12201900,  0.02833000, ...,  0.11068700,  0.03607300, -0.13763499],
        ...,
        [ 0.02628800, -0.00008300, -0.00393500, ...,  0.00654000,  0.00024600, -0.00662600],
        [-0.00924490,  0.00652097,  0.01049327, ..., -0.01796000,  0.03498908, -0.02209341],
        [ 0.        ,  0.        ,  0.        , ...,  0.        ,  0.        ,  0.        ]])

查询embedding结果

test_token_embedding = token_embedding.search("中国")
print(test_token_embedding)
[[ 0.260801  0.1047    0.129453 -0.257317 -0.16152   0.19567  -0.074868
   0.361168  0.245882 -0.219141 -0.388083  0.235189  0.029316  0.154215
  -0.354343  0.017746  0.009028  0.01197  -0.121429  0.096542  0.009255
   ...,
  -0.260592 -0.019668 -0.063312 -0.094939  0.657352  0.247547 -0.161621
   0.289043 -0.284084  0.205076  0.059885  0.055871  0.159309  0.062181
   0.123634  0.282932  0.140399 -0.076253 -0.087103  0.07262 ]]

可视化embedding结果

使用深度学习可视化工具VisualDL的High Dimensional组件可以对embedding结果进行可视化展示，便于对其直观分析，步骤如下：

# 获取词表中前1000个单词
labels = token_embedding.vocab.to_tokens(list(range(0,1000)))
test_token_embedding = token_embedding.search(labels)

# 引入VisualDL的LogWriter记录日志
from visualdl import LogWriter

with LogWriter(logdir='./visualize') as writer:
    writer.add_embeddings(tag='test', mat=test_token_embedding, metadata=labels)

执行完毕后会在当前路径下生成一个visualize目录，并将日志存放在其中，我们在命令行启动VisualDL即可进行查看，启动命令为：

visualdl --logdir ./visualize

启动后打开浏览器即可看到可视化结果

使用VisualDL除可视化embedding结果外，还可以对标量、图片、音频等进行可视化，有效提升训练调参效率。关于VisualDL更多功能和详细介绍，可参考VisualDL使用文档。

计算词向量cosine相似度

score = token_embedding.cosine_sim("中国", "美国")
print(score) # 0.49586025

计算词向量内积

score = token_embedding.dot("中国", "美国")
print(score) # 8.611071

训练

以下为TokenEmbedding简单的组网使用方法。有关更多TokenEmbedding训练流程相关的使用方法，请参考Word Embedding with PaddleNLP。

in_words = paddle.to_tensor([0, 2, 3])
input_embeddings = token_embedding(in_words)
linear = paddle.nn.Linear(token_embedding.embedding_dim, 20)
input_fc = linear(input_embeddings)
print(input_fc)
Tensor(shape=[3, 20], dtype=float32, place=CPUPlace, stop_gradient=False,
       [[ 0.        ,  0.        ,  0.        ,  ...,  0.        ,  0.        ,  0.        ],
        [-0.23473957,  0.17878169,  0.07215232,  ...,  0.03698236,  0.14291850,  0.05136518],
        [-0.42466098,  0.15017235, -0.04780108,  ..., -0.04995505,  0.15847842,  0.00025209]])

切词

from paddlenlp.data import JiebaTokenizer
tokenizer = JiebaTokenizer(vocab=token_embedding.vocab)
words = tokenizer.cut("中国人民")
print(words) # ['中国人', '民']

tokens = tokenizer.encode("中国人民")
print(tokens) # [12530, 1334]

预训练模型

以下将列举PaddleNLP支持的Embedding预训练模型。

  • 模型命名方式为：${训练模型}.${语料}.${词向量类型}.${co-occurrence type}.dim${维度}。
  • 模型有三种，分别是Word2Vec(w2v, skip-gram), GloVe(glove)和FastText(fasttext)。

中文词向量

以下预训练词向量由Chinese-Word-Vectors提供。

根据不同类型的上下文为每个语料训练多个目标词向量，第二列开始表示不同类型的上下文。以下为上下文类别：

  • Word表示训练时目标词预测的上下文是一个Word。
  • Word + N-gram表示训练时目标词预测的上下文是一个Word或者Ngram，其中bigram表示2-grams，ngram.1-2表示1-gram或者2-grams。
  • Word + Character表示训练时目标词预测的上下文是一个Word或者Character，其中word-character.char1-2表示上下文是1个或2个Character。
  • Word + Character + Ngram表示训练时目标词预测的上下文是一个Word、Character或者Ngram。bigram-char表示上下文是2-grams或者1个Character。
语料WordWord + N-gramWord + CharacterWord + Character + N-gram
Baidu Encyclopedia 百度百科w2v.baidu_encyclopedia.target.word-word.dim300w2v.baidu_encyclopedia.target.word-ngram.1-2.dim300w2v.baidu_encyclopedia.target.word-character.char1-2.dim300w2v.baidu_encyclopedia.target.bigram-char.dim300
Wikipedia_zh 中文维基百科w2v.wiki.target.word-word.dim300w2v.wiki.target.word-bigram.dim300w2v.wiki.target.word-char.dim300w2v.wiki.target.bigram-char.dim300
People’s Daily News 人民日报w2v.people_daily.target.word-word.dim300w2v.people_daily.target.word-bigram.dim300w2v.people_daily.target.word-char.dim300w2v.people_daily.target.bigram-char.dim300
Sogou News 搜狗新闻w2v.sogou.target.word-word.dim300w2v.sogou.target.word-bigram.dim300w2v.sogou.target.word-char.dim300w2v.sogou.target.bigram-char.dim300
Financial News 金融新闻w2v.financial.target.word-word.dim300w2v.financial.target.word-bigram.dim300w2v.financial.target.word-char.dim300w2v.financial.target.bigram-char.dim300
Zhihu_QA 知乎问答w2v.zhihu.target.word-word.dim300w2v.zhihu.target.word-bigram.dim300w2v.zhihu.target.word-char.dim300w2v.zhihu.target.bigram-char.dim300
Weibo 微博w2v.weibo.target.word-word.dim300w2v.weibo.target.word-bigram.dim300w2v.weibo.target.word-char.dim300w2v.weibo.target.bigram-char.dim300
Literature 文学作品w2v.literature.target.word-word.dim300w2v.literature.target.word-bigram.dim300w2v.literature.target.word-char.dim300w2v.literature.target.bigram-char.dim300
Complete Library in Four Sections 四库全书w2v.sikuquanshu.target.word-word.dim300w2v.sikuquanshu.target.word-bigram.dim300无无
Mixed-large 综合w2v.mixed-large.target.word-word.dim300暂无w2v.mixed-large.target.word-word.dim300暂无

特别地，对于百度百科语料，在不同的 Co-occurrence类型下分别提供了目标词与上下文向量：

Co-occurrence 类型目标词向量上下文词向量
Word → Wordw2v.baidu_encyclopedia.target.word-word.dim300w2v.baidu_encyclopedia.context.word-word.dim300
Word → Ngram (1-2)w2v.baidu_encyclopedia.target.word-ngram.1-2.dim300w2v.baidu_encyclopedia.context.word-ngram.1-2.dim300
Word → Ngram (1-3)w2v.baidu_encyclopedia.target.word-ngram.1-3.dim300w2v.baidu_encyclopedia.context.word-ngram.1-3.dim300
Ngram (1-2) → Ngram (1-2)w2v.baidu_encyclopedia.target.word-ngram.2-2.dim300w2v.baidu_encyclopedia.target.word-ngram.2-2.dim300
Word → Character (1)w2v.baidu_encyclopedia.target.word-character.char1-1.dim300w2v.baidu_encyclopedia.context.word-character.char1-1.dim300
Word → Character (1-2)w2v.baidu_encyclopedia.target.word-character.char1-2.dim300w2v.baidu_encyclopedia.context.word-character.char1-2.dim300
Word → Character (1-4)w2v.baidu_encyclopedia.target.word-character.char1-4.dim300w2v.baidu_encyclopedia.context.word-character.char1-4.dim300
Word → Word (left/right)w2v.baidu_encyclopedia.target.word-wordLR.dim300w2v.baidu_encyclopedia.context.word-wordLR.dim300
Word → Word (distance)w2v.baidu_encyclopedia.target.word-wordPosition.dim300w2v.baidu_encyclopedia.context.word-wordPosition.dim300

英文词向量

Word2Vec

语料名称
Google Newsw2v.google_news.target.word-word.dim300.en

GloVe

语料25维50维100维200维300 维
Wiki2014 + GigaWord无glove.wiki2014-gigaword.target.word-word.dim50.englove.wiki2014-gigaword.target.word-word.dim100.englove.wiki2014-gigaword.target.word-word.dim200.englove.wiki2014-gigaword.target.word-word.dim300.en
Twitterglove.twitter.target.word-word.dim25.englove.twitter.target.word-word.dim50.englove.twitter.target.word-word.dim100.englove.twitter.target.word-word.dim200.en无

FastText

语料名称
Wiki2017fasttext.wiki-news.target.word-word.dim300.en
Crawlfasttext.crawl.target.word-word.dim300.en

使用方式

以上所述的模型名称可直接以参数形式传入padddlenlp.embeddings.TokenEmbedding，加载相对应的模型。比如要加载语料为Wiki2017，通过FastText训练的预训练模型（fasttext.wiki-news.target.word-word.dim300.en），只需执行以下代码：

import paddle
from paddlenlp.embeddings import TokenEmbedding

token_embedding = TokenEmbedding(embedding_name="fasttext.wiki-news.target.word-word.dim300.en")

模型信息

模型文件大小词表大小
w2v.baidu_encyclopedia.target.word-word.dim300678.21 MB635965
w2v.baidu_encyclopedia.target.word-character.char1-1.dim300679.15 MB636038
w2v.baidu_encyclopedia.target.word-character.char1-2.dim300679.30 MB636038
w2v.baidu_encyclopedia.target.word-character.char1-4.dim300679.51 MB636038
w2v.baidu_encyclopedia.target.word-ngram.1-2.dim300679.48 MB635977
w2v.baidu_encyclopedia.target.word-ngram.1-3.dim300671.27 MB628669
w2v.baidu_encyclopedia.target.word-ngram.2-2.dim3007.28 GB6969069
w2v.baidu_encyclopedia.target.word-wordLR.dim300678.22 MB635958
w2v.baidu_encyclopedia.target.word-wordPosition.dim300679.32 MB636038
w2v.baidu_encyclopedia.target.bigram-char.dim300679.29 MB635976
w2v.baidu_encyclopedia.context.word-word.dim300677.74 MB635952
w2v.baidu_encyclopedia.context.word-character.char1-1.dim300678.65 MB636200
w2v.baidu_encyclopedia.context.word-character.char1-2.dim300844.23 MB792631
w2v.baidu_encyclopedia.context.word-character.char1-4.dim3001.16 GB1117461
w2v.baidu_encyclopedia.context.word-ngram.1-2.dim3007.25 GB6967598
w2v.baidu_encyclopedia.context.word-ngram.1-3.dim3005.21 GB5000001
w2v.baidu_encyclopedia.context.word-ngram.2-2.dim3007.26 GB6968998
w2v.baidu_encyclopedia.context.word-wordLR.dim3001.32 GB1271031
w2v.baidu_encyclopedia.context.word-wordPosition.dim3006.47 GB6293920
w2v.wiki.target.bigram-char.dim300375.98 MB352274
w2v.wiki.target.word-char.dim300375.52 MB352223
w2v.wiki.target.word-word.dim300374.95 MB352219
w2v.wiki.target.word-bigram.dim300375.72 MB352219
w2v.people_daily.target.bigram-char.dim300379.96 MB356055
w2v.people_daily.target.word-char.dim300379.45 MB355998
w2v.people_daily.target.word-word.dim300378.93 MB355989
w2v.people_daily.target.word-bigram.dim300379.68 MB355991
w2v.weibo.target.bigram-char.dim300208.24 MB195199
w2v.weibo.target.word-char.dim300208.03 MB195204
w2v.weibo.target.word-word.dim300207.94 MB195204
w2v.weibo.target.word-bigram.dim300208.19 MB195204
w2v.sogou.target.bigram-char.dim300389.81 MB365112
w2v.sogou.target.word-char.dim300389.89 MB365078
w2v.sogou.target.word-word.dim300388.66 MB364992
w2v.sogou.target.word-bigram.dim300388.66 MB364994
w2v.zhihu.target.bigram-char.dim300277.35 MB259755
w2v.zhihu.target.word-char.dim300277.40 MB259940
w2v.zhihu.target.word-word.dim300276.98 MB259871
w2v.zhihu.target.word-bigram.dim300277.53 MB259885
w2v.financial.target.bigram-char.dim300499.52 MB467163
w2v.financial.target.word-char.dim300499.17 MB467343
w2v.financial.target.word-word.dim300498.94 MB467324
w2v.financial.target.word-bigram.dim300499.54 MB467331
w2v.literature.target.bigram-char.dim300200.69 MB187975
w2v.literature.target.word-char.dim300200.44 MB187980
w2v.literature.target.word-word.dim300200.28 MB187961
w2v.literature.target.word-bigram.dim300200.59 MB187962
w2v.sikuquanshu.target.word-word.dim30020.70 MB19529
w2v.sikuquanshu.target.word-bigram.dim30020.77 MB19529
w2v.mixed-large.target.word-char.dim3001.35 GB1292552
w2v.mixed-large.target.word-word.dim3001.35 GB1292483
w2v.google_news.target.word-word.dim300.en1.61 GB3000000
glove.wiki2014-gigaword.target.word-word.dim50.en73.45 MB400002
glove.wiki2014-gigaword.target.word-word.dim100.en143.30 MB400002
glove.wiki2014-gigaword.target.word-word.dim200.en282.97 MB400002
glove.wiki2014-gigaword.target.word-word.dim300.en422.83 MB400002
glove.twitter.target.word-word.dim25.en116.92 MB1193516
glove.twitter.target.word-word.dim50.en221.64 MB1193516
glove.twitter.target.word-word.dim100.en431.08 MB1193516
glove.twitter.target.word-word.dim200.en848.56 MB1193516
fasttext.wiki-news.target.word-word.dim300.en541.63 MB999996
fasttext.crawl.target.word-word.dim300.en1.19 GB2000002

致谢

参考论文

  • Li, Shen, et al. “Analogical reasoning on chinese morphological and semantic relations.” arXiv preprint arXiv:1805.06504 (2018).
  • Qiu, Yuanyuan, et al. “Revisiting correlations between intrinsic and extrinsic evaluations of word embeddings.” Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data. Springer, Cham, 2018. 209-221.
  • Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. GloVe: Global Vectors for Word Representation.
  • T. Mikolov, E. Grave, P. Bojanowski, C. Puhrsch, A. Joulin. Advances in Pre-Training Distributed Word Representations.
向娇葵
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
paddlespeech 声纹识别embedding向量提取；sherpa-onnx说话人识别
weixin_42357472的博客
06-27 842
参考： https://aistudio.baidu.com/aistudio/projectdetail/4353348https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/demos/speaker_verification/README_cn.md注意 1）安装paddlespeech，参考： https://blog.csdn.net/weixin_42357472/article/details/131269539?spm=1001.2
利用paddle提供的word2vec模型进行word embedding操作
xiaoxiaoqian0519的博客
01-19 999
安装 需求 paddlepaddle>=1.8.0 paddlehub>=1.8.0 pretrained word2vec_skipgram ps：在网不好的情况下，可以预先下载下来，这样安装也比较方便； demo 直接读取，进行word embedding； import paddle.fluid as fluid import paddlehub as hub import time raw_data = ["驾驶违章一次扣12分用两个驾驶证处理可以吗",
paddle 基础函数 data, embedding
Tak-Wah Blog
10-08 461
见代码 import paddle.fluid as fluid import numpy as np # data, embedding data = fluid.layers.data(name="sequence", shape=[1], dtype="int64") emb_1 = fluid.layers.embedding(input=data, size=[12, 8]) # data 赋值 feed_data = x = np.array([[1], [2]]) print("
【LLM大模型】Embedding模型概念、源码分析和使用示例
最新发布
瓦罗兰特顶级C位的博客
07-05 2533
Embedding模型是RAG（Retrieval-Augmented Generation）技术的核心。也是大模型应用落地必不可少的技术。
【pytorch Embedding API使用】
ZHAO__JW的博客
12-13 1546
torch.nn.Embedding参数说明具体使用 import torch embedding=nn.Embedding(num,dim) 参数说明 1.num:vocabulary的大小 2.dim:embedding向量的维度 具体使用 使用时将self.Embedding实例化到模型的_init_(…)方法内 然后在forward()方法内使用，从而得到输入序列的词嵌入矩阵，大小为[batch_size,N,dim]，N为句子长度 训练时使用pytorch的自动求导可实现Embedding矩阵的
PaddlePaddle中embedding的作用是什么？
PaddlePaddle
02-26 2837
关键字： embedding作用 问题描述：看了PaddlePaddle词向量相关的代码，大量使用了embedding_layer+fc_layer的结构，请问这里常用的paddle.layer.embedding()方法的具有有什么作用？在PaddlePaddle中是如何实现的？ 相关代码： embed_first = fluid.layers.embedding( ...
embedding模型API启动
weixin_48435461的博客
05-29 411
针对一些需要使用api调用的大模型框架，可以用该方法启动Embedding模型。环境问题不过多赘述，代码如下。上进行知识库的向量编码。
PaddleNLP：基于PaddlePaddle 2.0的NLP核心库和模型动物园
02-07
PaddleNLP 2.0具有丰富的模型库，简洁易用的API与高性能的分布式训练的能力，可以为飞轮开发者提升文本建模效率，并提供基于Padddle 2.0的NLP领域最佳实践。 特性 丰富的模型库 涵盖了NLP主流应用相关的前沿模型，...
飞桨十大中文NLP开源工具详解
oudifuf的博客
01-01 212
PaddleNLP是基于飞桨（PaddlePaddle）开发的工业级中文NLP开源工具与预训练模型集，将自然语言处理领域的多种模型用一套共享骨架代码实现，可大大减少开发者在开发过程中的重复工作。PaddleNLP提供依托于百度百亿级大数据的预训练模型，适应全面丰富的 NLP任务，方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。下面小编就带你一一了解PaddleNLP支持的十大N...
分析以下代码含义import os import random import numpy as np import pandas as pd # 导入Paddle的API import paddle import paddle.nn as nn import paddle.nn.functional as F from paddle.nn import LSTM, Embedding, Dropout, Linear from paddlenlp.datasets import load_dataset from paddlenlp.utils.downloader import get_path_from_url
06-06
这段代码是在导入所需要的 Python 模块和 PaddlePaddle 框架的 API，其中包括 os、random、numpy、pandas、paddle、paddlenlp 等模块。具体来说，这段代码的含义如下： - `import os`：导入 Python 标准库中的 os ...
【大模型应用开发极简入门】其他OpenAI API和功能：embedding（文本之间的向量相关性）、Moderation（内容审核模型）、Image generation
hiliang521的博客
05-29 1224
【大模型应用开发极简入门】其他OpenAI API和功能：embedding（文本之间的向量相关性）、Moderation（内容审核模型）、Image generation
随笔：使用OpenAI的Embeddings API和Complation API实现客服问答
guailegeguai的博客
04-25 1623
去年11月openAI推出了Chat GPT 掀了好大一股浪。前段时间看了一下openAI的API看不看如何通过openAI 的语言处理模型来处理一下客服回复。下面做个笔记记录一下。Open AI 现有的模型没有我们特定场景下的知识，以卷纸电商为例，比如卷纸分为200g和140g的， 价格也不一样，这些信息openAI也不会在他们的模型中去训练， 所以我们要想办法让模型去学习这些跟我们自己业务场景相关的知识。
wordembedding-paddle-pytorch-tf
qq_15821487的博客
08-20 171
构造词典，要把输入的字符串转换id，首先把字符和id的映射定义好字典 WORD_DICT_URL = "https://paddlenlp.bj.bcebos.com/data/dict.txt" # Loads vocab. vocab_path = "./dict.txt" if not os.path.exists(vocab_path): # download in current directory get_path_from_url(W
中文NLP的第三步：获得词向量/词嵌入 word embeddings，基于 PaddleHub 实现（学习心得）
AItrust的博客
05-13 3683
之前的步骤中，我们已经把句子进行了词语切分 中文NLP的第一步：分词，基于 PaddleHub 实现，绝对小白友好（学习心得） 然后把这些切好的词，根据现成的 词表，转化成了 ID 中文NLP的第二步：分词转词表ID，基于 PaddleHub 实现（学习心得） 第三步，把词语转化为 word embeddings 这里我们依然使用 PaddleHub 提供的 word2vec_skipgram 模型，模型的介绍可以见上一篇 程序实现： import numpy as np from scipy.spatia
PaddleNLP
编码时光
03-30 2191
文章目录安装 官方主页：https://www.paddlepaddle.org.cn/paddle/paddlenlp Github : https://github.com/PaddlePaddle/PaddleNLP 使用文档：https://paddlenlp.readthedocs.io/zh/latest/get_started/quick_start.html 安装 pip3 install paddlepaddle ...
37 - Word Embedding原理精讲及其PyTorch API教程讲解
scar2016的博客
05-29 366
文章目录1. 语言建模2. 详解2.1 n-gram模型2.2 单词的语义表征2.3 基于神经网络的语言模型(NNLM)2.4 word2vec模型2.4.1 改进1 1. 语言建模 一种基于已有的人类组织的文本预料来去做无监督学习，如何组织一句话并还能得到单词的语义表征 统计模型：n-gram 无监督学习:NNLM 大规模无监督学习:word2vec,BERT 2. 详解 2.1 n-gram模型 特点：统计性，简单，泛化能力差，无法得到单词的语言信息 定义：n个相邻符构成的序列；单个词unigra
PaddlePaddle怎么加载预训练的embedding层？
PaddlePaddle
02-26 2397
关键字：预加载 embedding 问题描述：现在需要将paddlepaddle框架里面的embedding层替换成我在网络上找到的word2vec字典，然后用这个字典来embedding, 这个embedding层怎么外接？ 问题分析： embedding层主要的作用是词嵌套，即将词转换为对应的向量，在PaddlePaddle中词嵌套的做法是类似的，简单而言，对于任意语料数据，在Pa...
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 1082
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
使用 OpenAI 的 Embedding模型 构建知识向量库并进行相似搜索
一个学长的博客
03-15 3000
首先第一篇文章中探讨和使用了ChatGPT4的API-Key实现基础的多轮对话和流式输出，完成了对GPT-API的一个初探索，那第二步打算使用OpenAI的embedding模型来构建一个知识向量库，其实知识向量库本质上就是一个包含着一组向量的数组，然后通过查询输入文本生成的向量和数据库文本中的向量的余弦相似度来进行相似度判断，在使用的过程中还是非常舒服的。前置文章：ChatGPT4 API-Key初探-本地调用API进行多轮对话方和流式输出。
paddlenlp.embeddings.list_embedding_name()
05-30
这个问题是关于 PaddleNLP 中嵌入层的函数调用。你可以通过调用 `paddlenlp.embeddings.list_embedding_name()` 函数来列出 PaddleNLP 支持的所有嵌入层的名称。这个函数返回一个列表，其中包含了所有支持的嵌入层的名称，例如："w2v.baidu_encyclopedia.target.word-word.dim300" 等。需要注意的是，这个函数需要在已经安装了 PaddleNLP 的环境中才能调用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值