零门槛,不等待!立刻领取 Embedding API 密钥及 1 万免费 tokens!

Jina AI发布开源向量模型jina-embeddings-v2,支持8192个token的输入长度,突破长文本向量瓶颈。该模型提供API免费试用,包含10,000 tokens,作为OpenAI API的低成本高性能替代方案,适用于RAG系统。立即访问https://jina.ai/embeddings/获取API密钥。" 106252391,7039348,JavaScript正则表达式大全,"['javascript', '正则表达式', '验证']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

e6d24a53b324b66a2b59e9c4387b1d00.png2023 年 10 月 30 号,Jina AI 正式发布了 jina-embeddings-v2,是全球首个唯一支持 8K(8192)输入长度的开源向量大模型,今天,我们趁热打铁,为企业和开发者提供 Embedding API,即插即用!

借助该 API,开发者可以用于改进检索增强生成 (RAG) 系统的效果,用以解决大型语言模型的上下文长度限制、幻觉问题和知识注入问题。

现在我们提供了其 英文版本 的免费 API 试用方案:

新用户无需注册,打开网页 https://jina.ai/embeddings/,即刻免费获取 API 密钥,该密钥包含 10,000 tokens 的使用额度。

现有模型的限制

  1. 现有开源模型的长度限制:当前主流的开源向量模型,如 BERT 和 GPT 系列,受限于最多 512 个 token 的输入长度限制。这意味着长文本必须被截断或分割,从而破坏了文本的完整性和内在的引用关系网络。这种文本切割会直接影响下游任务的效果,如文本分类、问答系统和文本摘要。特别是在信息检索中,我们就只能利用原文档里排名靠前 top-k 的文本片段,送回 LLM 里进行处理,这对于需要全面理解和生成回应的任务来说,远远不够。

  2. 商用 8k 长度模型选择受限:目前市面上唯一的商用的长文本向量模型是 OpenAI 的专有模型 text-embedding-ada-002,由于该模型是闭源的,我们无法进行根据具体业务数据做个性化微调。

  3. RAG 系统需要高性能向量模型:通常用于解决大模型的上下文长度限制、幻觉问题和知识注入问题的 RAG 系统,其性能极大依赖于其核心组件——Embedding 模型的效能。如果 Embedding 模型在文本向量的提取过程中表现不佳,则即便 RAG 系统在其他方面设计得当,最终输出也难以达到预期水平。

为什么选择 jina-embeddings-v2

  1. 突破长文本向量瓶颈:Jina-embeddings-v2 是目前市场上首个并且唯一支持 8k 输入长度的开源向量模型,有效突破了长文本向量化的技术瓶颈。

  2. 更小的维度实现高效的表征:在保持精确表征的同时,jina-embeddings-v2 的向量维度仅为 text-embedding-ada-002 的一半(768 vs 1536),这种高效的向量表征不仅减少了存储需求,同时提高了检索速度。

  3. RAG 应用的最佳选择:jina-embeddings-v2 允许开发者对文本信息进行不同语义颗粒度的完整表示,为长文本提供了完整的语义理解,使其成为优化 RAG 场景下处理长篇文本信息的理想选择。

具体技术细节可以在我们的技术报告里了解:https://arxiv.org/abs/2310.19923

低成本高性能长输入:OpenAI API 的 1:1 替换方案

对于已经在使用 OpenAI Embedding API 的开发者和企业来说,切换到 jina-embeddings-v2 将是非常丝滑的。我们确保了 API 输入输出格式与 OpenAI API 保持完全一致,可以无缝替换 —— 无需修改现有代码,只需将代码中的 openai.com 替换成 jina.ai,就能立刻享受到更低的成本和更长的输入支持。

b9e509a2e2c23984372e347bb882d864.png

f39b50c5987eb87848a1afc0d5b96f36.jpeg

完全兼容的 API,支持众多编程语言,丰富的代码样例 —— jina-embeddings-v2 为你的项目提供了强大的后盾,并且一切简洁明了,开箱即用。所以,不要犹豫,立刻开始免费试用吧!

根据 MTEB 排行榜,与 OpenAI 的 text-embedding-ada-002 相比,jina-embeddings-v2 展现出不俗的实力。值得注意的是,jina-embeddings-v2 在文本分类任务、检索任务、检索重排任务、和文本摘要任务上的得分都超过了 text-embedding-ada-002。

277a4c7fcb38bb6ebd60985981d7f82b.png

jina-embeddings-v2 vs text-embedding-ada-002 性能比较

在成本敏感的当下,每分每秒的计算资源都意味着成本。而现在 jina-embeddings-v2,提供比 text-embedding-ada-002 同等甚至更优的服务,但 性价比更高,并且用得越多,省得越多!当数据量攀升,其中的成本差异就转化为了企业和开发者的巨大优势,让他们能够在不牺牲任何性能的前提下,大幅度减少支出。

开局送神装,API 免费试用

为了让你直观体验到 jina-embeddings-v2 的卓越性能,我们提供了 API 免费试用方案:每位用户,无需注册,打开网页即可免费获取 API 密钥,该密钥包含 10,000 tokens 的使用额度。这足够你将我们的模型运用到实际场景中测试,全面检验其性能,确保它能为你的项目带来价值。

访问我们的 https://jina.ai/embeddings/ 以查看更多模型选择、请求参数和返回格式的详细信息。

27be73c24a1c6b899a6a67a9a19b202d.png

如果您的 API 密钥需要更多 tokens,可以在网页选择“充值”选项,并按需添加 tokens,也可以添加文末小助手,我们的支持团队随时准备帮助您解决任何问题。

554968d912a6ff278cb45a36b0204b73.png

6ef3a63690b98834681e35b721773835.png

### 使用嵌入(EmbeddingAPI及其服务 对于希望利用嵌入技术的应用程序开发者而言,理解并掌握如何使用特定平台上的嵌入API至关重要。这类API通常用于将文本或其他形式的数据转换成数值向量表示,以便于机器学习模型处理。 #### 获取和初始化嵌入对象 大多数嵌入API会提供一种方式来创建或获取一个代表具体实现类的对象实例。例如,在某些框架中可能通过继承`<name>Embeddings`类[^4] 来定义新的嵌入逻辑,并且可以基于此构建具体的嵌入对象: ```python from some_embedding_library import OpenAIEmbeddings embedder = OpenAIEmbeddings(api_key="your_api_key_here") ``` 这里假设有一个名为 `some_embedding_library` 的库提供了对OpenAI嵌入的支持;实际应用时应替换为真实的库名以及有效的API密钥。 #### 缓存机制 考虑到计算嵌入可能会消耗较多资源,许多高级别的嵌入接口还实现了缓存功能以提高效率。这可以通过扩展`CacheBackedEmbeddings`类来完成,该类允许存储先前已计算好的结果从而减少重复工作: ```python cached_embedder = CacheBackedEmbeddings(base_embeddings=embedder, cache_dir="./cache/") ``` 上述代码片段展示了怎样设置带有本地文件系统作为后端的简单缓存层。 #### 调用嵌入方法 一旦有了准备就绪的嵌入器实例,就可以调用来获得输入数据对应的向量表达。一般情况下,这些函数接受字符串列表或者其他适当格式化的输入参数: ```python texts_to_encode = ["hello world", "goodbye cruel world"] vector_representations = cached_embedder.encode(texts=texts_to_encode) print(vector_representations.shape) # 输出形状信息,比如 (2, n),其中n是维度大小 ``` 以上过程概括了典型场景下使用嵌入API的方式。值得注意的是同供应商和服务之间存在差异,因此建议查阅官方文档获取最准确的信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值