# 使用 OpenAI 的 Embeddings 接口实现文本和代码的语义搜索

于 2024-09-04 11:31:22 发布
阅读量601 收藏 11
点赞数 20
文章标签： 大语言模型 人工智能 open ai embedding LLM 大模型应用 计算机技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python12345678_/article/details/141888964
版权

本文主要介绍 OpenAI 的 Embeddings (嵌入) 接口，该接口可以轻松执行自然语言和代码任务，如语义搜索、聚类、主题建模和分类。

Embeddings 是转换为数字序列的概念的数字表示，使计算机可以轻松理解这些概念之间的关系。Embeddings 在 3 个标准基准测试中优于顶级模型，其中代码搜索的改进相对提升了 20%。

Embeddings 对于处理自然语言和代码非常有用，因为它们可以很容易地被其他机器学习模型和算法（如聚类或搜索）使用和比较。

在这里插入图片描述

在 Embeddings 中，两组相似的数值在语义上也是相似的。例如，“犬类同伴说”的嵌入向量将更类似于“woof”的嵌入向量，而不是“meow”的嵌入向量。

在这里插入图片描述

新的接口使用神经网络模型（GPT-3 的后代）将文本和代码映射到矢量数据上 - 将它们“嵌入”在高维空间中。每个维度捕获输入的某些方面。

OpenAI API 中的新 /embeddings 端点提供包含几行代码的文本和代码嵌入：
在这里插入图片描述

OpenAI 发布了三个系列的嵌入模型，每个系列都经过调整以在不同的功能上表现良好，包括：文本相似性、文本搜索和代码搜索。这些模型将文本或代码作为输入，并返回嵌入向量。

模型使用场景
文本相似度: 捕获文本片段之间的语义相似性.text-similarity-{ada, babbage, curie, davinci}-001聚类、回归、异常检测、可视化
文本搜索：文档的语义信息检索。text-search-{ada, babbage, curie, davinci}-{query, doc}-001搜索, 上下文相关性, 信息检索
代码搜索：使用自然语言查询查找相关代码。code-search-{ada, babbage}-{code, text}-001代码搜索和相关性

文本相似性模型

文本相似性模型提供用于捕获文本片段的语义相似性。这些模型可用于许多任务，包括聚类分析、数据可视化和分类。

以下交互式可视化显示了来自 DBpedia 数据集的文本示例的嵌入：

图片

来自 text-similarity-babbage-001 模型，使用的是 DBpedia 数据集。我们从涵盖 5 个类别的数据集中随机选择了 100 个样本，并通过 /embeddings 端点计算嵌入。不同的类别在嵌入空间中显示为 5 个清晰的簇。为了可视化嵌入空间，我们使用 PCA 将嵌入维度从 2048 减少到 3。有关如何在 3D 维度中可视化嵌入空间的代码，请参阅此处。

要比较两段文本的相似性，您只需在文本嵌入上使用点积即可。结果是 –1 和 1 之间的“相似性得分”，有时称为“余弦相似性”，其中数字越大意味着相似性越大。在大多数应用中，可以预先计算嵌入，然后非常快速地进行点积比较。
在这里插入图片描述

Embeddings 的一个常见用途是将它们用作机器学习任务（如分类）中的特征。在机器学习文献中，当使用线性分类器时，这种分类任务称为“线性探针”。我们的文本相似性模型在 SentEval 中实现了线性探针分类的最新结果（Conneau et al.，2018），这是评估嵌入质量的常用基准。

7 个数据集的线性探针分类

图片

文本搜索模型

文本搜索模型提供嵌入，支持大规模搜索任务，例如在给定文本查询的文档集合中查找相关文档。文档和查询的嵌入分别生成，然后使用余弦相似性来比较查询与每个文档之间的相似性。

基于嵌入的搜索可以比经典关键字搜索中使用的单词重叠技术更好地概括，因为它捕获文本的语义含义，并且对确切的短语或单词不太敏感。我们评估了文本搜索模型在 BEIR (Thakur, et al. 2021)搜索评估套件上的性能，并获得了比以前方法更好的搜索性能。我们的文本搜索指南提供了有关将嵌入用于搜索任务的更多详细信息。

BEIR 中 11 个搜索任务的平均准确率

图片

代码搜索模型

代码搜索模型为代码搜索任务提供代码和文本嵌入。给定一组代码块，任务是查找自然语言查询的相关代码块。我们在 CodeSearchNet（Husian et al., 2019）评估套件上评估代码搜索模型，其中我们的嵌入比以前的方法获得了明显更好的结果。可以通过 代码搜索指南 来了解使用嵌入进行代码搜索的方法。

超过 6 种编程语言的平均准确度

图片

嵌入 API 的实际应用示例

JetBrains Research

JetBrains Research 的 Astroparticle Physics Lab 分析了 The Astronomer’s Telegram 和 NASA 的 GCN Circulars 等数据，这些报告包含传统算法无法解析的天文事件。

在 OpenAI 嵌入这些天文报告的支持下，研究人员现在能够在多个数据库和出版物中搜索诸如“蟹状脉冲星爆发”之类的事件。嵌入还通过 k 均值聚类在数据源分类上实现了 99.85% 的准确率。

FineTune Learning

FineTune Learning 是一家为学习构建人机混合解决方案的公司，例如帮助学生达到学术标准的自适应学习循环。

OpenAI 的嵌入显着改进了根据学习目标查找教科书内容的任务。OpenAI 的文本搜索居里嵌入模型达到了 89.1% 的前 5 准确率，优于之前的方法，如 Sentence-BERT (64.5%)。虽然人类专家仍然更好，但 FineTune 团队现在能够在几秒钟内标记整本教科书，而专家则需要数小时。

图片

Fabius

Fabius 帮助公司将客户对话转化为结构化的内容，为规划和优先级排序提供信息。OpenAI 的嵌入允许公司更轻松地查找和标记具有功能请求的客户通话记录。

例如，客户可能会使用“自动化”或“易于使用”等词来要求更好的自助服务平台。此前，Fabius 曾使用模糊关键字搜索来尝试为那些带有自助服务平台标签的成绩单打上标签。借助 OpenAI 的嵌入，他们现在能够找到 2 倍以上的一般示例，以及 6 到 10 倍的具有抽象用例的特征示例，这些用例没有客户可能使用的明确关键字。

所有 API 客户都可以开始使用嵌入文档，以便在他们的应用程序中使用嵌入。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
AI大模型_学习君
关注
  • 20
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ChatGPT｜语义检索，利用Embedding优化你的搜索功能
05-28
们就来看看，怎么利用 OpenAI 提供的接口来为这些需求提供些帮助。 让 AI 生成实验数据 在实际演示代码之前，我们需要一些可以拿来实验的数据。之前，我们都是在网上找一些数据 集，或者直接使用一些机器学习软件包...
Python_这个项目旨在重现Sora Open AI T2V模型，我们希望开源社区为这个项目做出贡献.zip
05-25
1. **自然语言处理（NLP）**：模型需要理解文本描述，这通常涉及到词嵌入（word embeddings）、语义分析和序列到序列（seq2seq）模型等NLP技术。 2. **图像生成**：使用卷积神经网络（CNNs）来构建生成器和判别器。...
使用CLIP对图像和句子进行可扩展的嵌入、推理和排名
06-28
CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练）是OpenAI推出的一种深度学习模型，它在大规模无标注数据集上进行了预训练，能够理解图像和文本之间的对应关系。这个模型的核心在于它能将图像...
AIGC的相关基本概念，想入行AI领域的小白可以看一下，精准到每个词语和方案
06-02
- **定义**: GPT（Generative Pre-training Transformer）是一种基于Transformer的大规模自然语言生成模型，由OpenAI开发。 - **特点**: 使用无监督学习进行预训练，能够生成高质量的自然语言文本。 - **版本**: ...
基础篇：大模型实战-Embedding（第三节课）
09-19
- **解析**：在OpenAI Embeddings中，通常使用实数向量(real-valued vectors)来表示词，这样的表示方式能够有效地捕捉词的语义信息，并且适用于后续的自然语言处理任务。 #### 十、词向量相似度衡量 1. **题目**...
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 874
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
关于人工智能（AI）的研究报告
weixin_44196785的博客
08-29 6025
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
智能化升级：AI在客服知识库中的应用
最新发布
LookLook同学的博客
09-03 856
探讨AI在客服知识库中的应用，提升效率与用户体验。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 3883
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
设备上的实时自定义手势识别
bit_mike的博客
08-31 1000
这篇论文的标题是《On-device Real-time Custom Hand Gesture Recognition》，主要研究了如何在移动设备上实时识别自定义手势。论文的重点在于提出了一种新的框架，使得用户可以自定义手势识别流程，并且通过预训练模型和少量的训练数据来实现高准确率的手势识别，这对于AR、VR等领域具有重要的应用价值。
您应该使用哪个矢量数据库？ 选择最适合您需求的数据库
weixin_41446370的博客
09-01 1395
在现实世界中，并非所有数据都能整齐地排列成行和列。在处理复杂的非结构化数据（如图像、视频和自然语言）时尤其如此。矢量数据库是一种以高维矢量形式存储数据的数据库，本质上是代表对象特征或特性的数字列表。每个矢量对应一个独特的实体，如一段文本、图像或视频。但为什么要使用矢量呢？奥妙就在于它能够捕捉语义和相似性。通过将数据表示为向量，我们可以对它们进行数学比较，并确定它们的相似或不相似程度。这使我们能够执行复杂的查询，如 "为我查找与此相似的图片 "或 “检索与此文本语义相关的文档”。
Azure和Transformers的详细解释
全栈工程师
09-03 523
Transformers 通过引入注意力机制，以并行化和捕捉长距离依赖的优势克服了传统序列模型的局限，迅速成为自然语言处理领域的主流选择。通过不断的迭代和创新，Transformers 在文本、图像、音频等多模态处理任务中展现出巨大的潜力和应用前景。
未戴安全帽算法检测源码样本安防监控视频分析未戴安全帽检测算法应用场景
LntonCEC的博客
08-29 3303
通过高效的图像处理和实时反馈机制，这些算法不仅提高了安全帽佩戴的检测准确性，还实现了对工地的全覆盖监控。未来，随着技术的不断进步和优化，这些系统将在更多的工地和工业场景中得到广泛应用，为工人的安全保驾护航。同时，系统会记录所有的检测数据，为后续的安全管理和分析提供了宝贵的参考资料。未戴安全帽检测算法是一种基于计算机视觉和深度学习技术的智能分析算法，旨在通过分析图像或视频流，自动识别人员是否佩戴了安全帽，并在检测到未佩戴情况时采取相应的措施（如发出警报或记录事件）。1. 提高检测准确性。
基于协同过滤算法的电影推荐系统的设计与实现(论文+源码)_kaic
weixin_52720882的博客
08-30 2204
2020年张志军在《基于协同过滤算法和强化学习的电影推荐系统》文章中提出了一种全新的电影推荐框架叫做CF-DQN推荐框架,它是基于协同过滤算法的改进的强化学习的电影推荐框架,用于实时的电影推荐。
【Datawhale AI夏令营】从零上手CV竞赛Task3
ljj的博客
08-31 994
本文的Task3对Task1的baseline代码继续进行优化的过程。本次城市治理的违规行为识别的比赛到此就完成所有步骤了，以后有机会还会在此基础上继续深入研究，挑战更多可能！
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
qq_50465499的博客
08-28 2312
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
AI写作生成器，开启你的高效率智能写作模式
2401_85949356的博客
09-02 376
作为一名创作者，我一直在探索如何提升写作效率和质量的方法。在这个信息爆炸的时代，我们需要在短时间内创作出有价值、有吸引力的内容，以满足读者的需求和市场的竞争。而AI写作生成器的出现，为我的创作生涯带来了革命性的变化，让我开启了高效率的智能写作模式。
Magisto——AI分析视频素材，自动生成剪辑、拼接和添加音乐的成品视频
m0_75253143的博客
08-31 1765
Magisto 是一个强大的视频编辑工具，特别适合没有专业视频编辑技能的用户。通过自动化的编辑流程和丰富的模板选择，用户可以轻松创建出高质量的视频内容，适用于个人记忆分享、社交媒体推广、商业宣传等多种场景。Magisto 利用人工智能和机器学习技术，结合先进的视频处理和图像处理技术，提供了一个功能强大且易于使用的视频编辑平台。通过计算机视觉、自然语言处理、音频处理和云计算等技术的集成，Magisto 实现了高度自动化的编辑流程，使用户无需具备专业技能即可制作出高质量的视频内容。
杭州城市开发者社区活动：《聚力AI，共创共荣》第二期线下AI论坛活动等你来！
鄙人kunzhi96，感恩遇见！
08-28 3836
由中也AI共荣社主办，COC杭州城市开发者社区等多家协办的《聚力AI，共创共荣》AI论坛活动来袭！ 活动围绕AI技术的创新应用，以及在实际应用落地的场景为主题展开，聚力AI，共同探讨。有机会与行业大咖进行面对面交流分享和学习交流，有料有趣的探索之旅，你值得拥有。
如何使用OpenAI Embeddings API
03-30
OpenAI Embeddings API是一个自然语言处理API，可用于将文本转换为向量表示。以下是使用OpenAI Embeddings API的步骤： 1. 获取API密钥：访问OpenAI的网站，注册账户并获取API密钥。 2. 安装OpenAI SDK：在本地计算机上安装OpenAI SDK，以便与API进行交互。 3. 创建API客户端：使用OpenAI SDK创建API客户端，以便发送请求和接收响应。 4. 发送请求：使用API客户端发送请求，以将文本转换为向量表示。请求中需要包含要转换的文本和模型ID。 5. 处理响应：API将返回一个向量表示，可以在代码中使用该表示进行进一步的自然语言处理任务。 以下是一个使用OpenAI Embeddings API的Python示例代码： ``` import openai import json # 设置API密钥 openai.api_key = "YOUR_API_KEY" # 创建API客户端 model_engine = "text-babbage-001" client = openai.Model(model_engine) # 发送请求 text = "The quick brown fox jumps over the lazy dog." input_dict = {"text": text, "model": model_engine} response = client.generate(input_dict) # 处理响应 output_json = response.choices[0].text output_dict = json.loads(output_json) vector = output_dict["vector"] print(vector) ``` 在此示例中，我们使用了OpenAI SDK创建了一个名为`client`的API客户端，并使用`generate`方法向API发送请求。请求中包含了一个要转换的文本`text`和一个模型ID`model_engine`。API返回一个表示文本向量的JSON字符串，我们使用`json`模块将其转换为Python字典，并提取向量表示。最后，我们打印向量表示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值