Lepton AI初体验

介绍

leptonai是贾杨清大佬今年下海创业的产品。贾杨清大佬是开源框架Caffe和PyTorch的主要贡献者，而且也是Tensorflow的贡献者之一，AI领域的同学应该都很熟悉他。

那么leptonai是什么呢？

Build AI
The Simple Way
Run AI applications efficiently, at scale, and in minutes with a cloud native platform.

这是官网的介绍“更简单的方式构建AI，分钟内高效大规模地再云原生平台运行AI应用”。

体验

根据官网的“快速开始”步骤：
1、下载

pip install -U leptonai

下载完成终端输入lep --help看是否有返回判断是否安装成功！

2、构建应用

下面我们构建gpt2应用：

# 创建应用
lep photon create --name mygpt2 --model hf:gpt2
# 启动应用
lep photon run --name mygpt2 --local

熟悉docker的同学看到这里可能已经感觉到熟悉了，这不就是创建容器、启动容器吗？

上图可以看到已经部署成功了。下面使用http请求验证gpt2的回复能力：

可以看到得到了回复。

lepton还支持photon推送到云端部署，photon统一管理，查看模型运行情况。更多玩法参考官方文档！

注意

• python>=3.8，依赖缺啥补啥。
• 跑这次的demo的难点在网络。leptonai的包貌似国内软件源还没同步？leptonai依赖的其他包，例transformers国内软件源倒是有。在photon create的时候会需要上huggingface.co下载模型，访问同样会超时。

传送门

• leptonai官网：https://www.lepton.ai/
• leptonai开源地址：https://github.com/leptonai/leptonai
• pypi下载leptonai包：https://pypi.org/project/leptonai/