探索Cloudflare Workers AI：轻松运行机器学习模型

最新推荐文章于 2024-10-01 05:09:19 发布

akhfuiigabv

最新推荐文章于 2024-10-01 05:09:19 发布

阅读量374

点赞数 4

文章标签：人工智能机器学习 python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142375362

版权

引言

Cloudflare是一家知名的美国公司，提供内容分发网络服务、云安全、DDoS缓解和ICANN认证的域名注册服务。近年来，Cloudflare推出了Cloudflare Workers AI，让开发者可以通过REST API在其网络上运行机器学习模型。这篇文章将带你了解如何设置Cloudflare Workers AI，并提供代码示例，帮助你在开发中顺利使用这一强大工具。

主要内容

Cloudflare Workers AI是什么？

Cloudflare Workers AI允许你通过Cloudflare的全球网络运行机器学习模型。利用其提供的API接口，你可以在边缘节点进行快速、高效的模型调用。特别适合需要低延迟的应用场景。

设置和准备工作

要使用Cloudflare Workers AI，需要一个Cloudflare账户和API令牌。你可以从Cloudflare的官方文档中了解如何获取这些信息。

设置代码：

import getpass

my_account_id = getpass.getpass("Enter your Cloudflare account ID:\n\n")
my_api_token = getpass.getpass("Enter your Cloudflare API token:\n\n")

代码示例

接下来，我们使用CloudflareWorkersAIEmbeddings接口来获取文本嵌入。

from langchain_community.embeddings.cloudflare_workersai import CloudflareWorkersAIEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = CloudflareWorkersAIEmbeddings(
    account_id=my_account_id,
    api_token=my_api_token,
    model_name="@cf/baai/bge-small-en-v1.5",
)

# 对单个字符串获取嵌入
query_result = embeddings.embed_query("test")
print(len(query_result), query_result[:3])

# 对多个字符串获取嵌入
batch_query_result = embeddings.embed_documents(["test1", "test2", "test3"])
print(len(batch_query_result), len(batch_query_result[0]))