玩转大模型！用Replicate一键部署

Python编程杰哥

已于 2024-05-06 19:57:53 修改

阅读量2.9k

点赞数 19

文章标签：人工智能 AIGC 学习 AI AI大模型

于 2024-04-24 09:59:10 首次发布

本文链接：https://blog.csdn.net/xx_nm98/article/details/138149078

版权

Replicate是一个云端的机器学习模型运行平台。它可以让用户使用云端API 直接运行机器学习模型，而无需了解复杂的机器学习模型内部构造。

Replicate允许用户在Python或Jupyter Notebook中运行模型，并在云端进行模型的部署和调优。你可以用它运行他人发布的开源模型，也可以打包并发布自己的模型。使用Replicate，你只需一行代码就可以生成图像、运行和调优开源模型，以及部署自定义模型。通过在Python代码中调用Replicate的API，你可以在Replicate上运行模型，并获取模型的预测结果。

模型预测如何工作

无论何时运行一个模型，都是在创建一个模型预测。模型预测是使用建立的模型对新数据进行预测的过程。在模型预测中，我们使用已经训练好的模型来预测未知数据的结果。这个过程可以通过输入新数据到模型中，并获得模型的输出来完成。

有些模型运行速度很快，几毫秒内就能返回结果。另外一些模型运行时间较长，尤其是生成模型，比如根据文本提示生成图像的模型。

对于这些运行时间较长的模型，你需要轮询 API 来检查预测的状态。模型预测可以有以下任何一种状态：

开始：预测正在启动。如果该状态持续的时间超过几秒钟，那么通常是因为正在启动一个新的线程来运行预测。
处理：模型的 predict() 方法正在运行。
成功：预测成功完成。
失败：预测在处理过程中遇到错误。
canceled（取消）：用户取消了预测。

登录后，你可以在仪表板上查看预测列表，其中包含状态、运行时间等摘要：

在这里插入图片描述

如何在浏览器中运行模型

你可以使用云端 API 或网页浏览器在 Replicate 上运行模型。网页能让你直观地看到模型的所有输入，并生成一个表单，可直接从浏览器运行模型，如下所示：

在这里插入图片描述

如何使用 API 运行模型

网页非常适合用来理解模型，但当你准备将模型部署到聊天机器人、网站或移动应用中时，API 就能发挥作用了。

Replicate的HTTP API 可与任何编程语言配合使用，而且还有 Python、JavaScript 和其他语言的客户端库，让 API 的使用更加方便。

使用 Python 客户端，只需几行代码即可创建模型预测，首先安装Python库：

pip install replicate

通过在环境变量中设置令牌来进行身份验证：

export REPLICATE_API_TOKEN=<paste-your-token-here>

然后你可以通过 Python 代码在 Replicate 上运行任何开源模型。下面的示例运行了 stability-ai/stable-diffusion：

import replicate

output = replicate.run(
  "stability-ai/sdxl:39ed52f2a78e934b3ba6e2a89f5b1c712de7dfea535525255b1aa35c5565e08b",
  input={"prompt": "An astronaut riding a rainbow unicorn, cinematic, dramatic"}
)

# ['https://replicate.delivery/pbxt/VJyWBjIYgqqCCBEhpkCqdevTgAJbl4fg62aO4o9A0x85CgNSA/out-0.png']

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述