因为特殊原因暂时无法用书生浦语提供的A100,在autodl租个2080Ti跑了demo,按照docs实现demo较为顺利,麻烦的是服务器没有大模型文件,无法使用软链接,只能慢慢用脚本下图中的三个文件,方便的是用streamlit在本地部署很方便,直接在浏览器打开即可。
哈哈,官方给了33点资源,开始跑demo~~
终端对话
八戒模型部署
申请了更多的资源,由10%A100升至50%A100, 下面的图文大模型可以跑了。
Lagent Web Demo
浦语灵笔图文写作实战
浦语灵笔图文理解实战
说实话,这个不太行,跑起很费劲,卡了半天。
hugging Face下载config.json
整体来说,很满意,助教解决问题很迅速,资源给的相当充足