引言
体验地址:https://huggingface.co/spaces/greyfoss/gpt2-chatbot
上篇文章我们通过Gradio作为前端轻松地连接到训练好的Chatbot,本文介绍如何分享你创建好的模型给你的朋友。
当你训练好的模型推送到Huggingface Hub上后,其实还可以进一步部署给朋友使用的,见上图。
点进去后,会看到可以通过Gradio部署我们的聊天机器人,选择配置时被FREE深深吸引住了,再定睛一看原来是CPU,但是免费的还是挺香。2C16G应该对于这个模型来说也够用了。
为了在CPU上有良好的体验,我们需要在部署时进行一些优化,下面主要介绍通过ONNX来部署。
ONNX
本节的内容参考了Pytorch和Huggin