【AI大模型】使用Embedding API

用心分享技术

已于 2024-10-01 17:18:49 修改

阅读量1.9k

点赞数 5

分类专栏： AI大模型文章标签：人工智能 embedding

于 2024-10-01 17:17:03 首次发布

本文链接：https://blog.csdn.net/weixin_42548337/article/details/142672081

版权

在这里插入图片描述

一、使用OpenAI API

目前GPT embedding mode有三种，性能如下所示：

模型	每美元页数	MTEB得分	MIRACL得分
text-embedding-3-large	9,615	54.9	64.6
text-embedding-3-small	62,500	62.3	44.0
text-embedding-ada-002	12,500	61.0	31.4

MTEB得分为embedding model分类、聚类、配对等八个任务的平均得分。
MIRACL得分为embedding model在检索任务上的平均得分。
从以上三个embedding model我们可以看出text-embedding-3-large有最好的性能和最贵的价格，当我们搭建的应用需要更好的表现且成本充足的情况下可以使用；text-embedding-3-small有着较好的性能跟价格，当我们预算有限时可以选择该模型；而text-embedding-ada-002是OpenAI上一代的模型，无论在性能还是价格都不如及前两者，因此不推荐使用。

import os
from openai import OpenAI
from dotenv import load_dotenv, find_dotenv


# 读取本地/项目的环境变量。
# find_dotenv()寻找并定位.env文件的路径
# load_dotenv()读取该.env文件，并将其中的环境变量加载到当前的运行环境中  
# 如果你设置的是全局的环境变量，这行代码则没有任何作用。
_ = load_dotenv(find_dotenv())

# 如果你需要通过代理端口访问，你需要如下配置
os.environ[