本文讲述了作者尝试部署Meta的Llama2中文问答模型时遇到的各种问题，涉及CUDA版本过旧、PyTorch和Transformer版本兼容性、以及显卡限制等，最终因显卡架构限制导致的版本升级问题。
概要
最近看到meta出的llama2，然后准备试试中文问答的能力，在git的中文社区找到了一个叫atom-7b的微调模型，在c-eavl排行榜上的能力看起来非常强（刚看了一眼，已经没了），准备下载下来跑跑，记录一下各种踩到的坑。
本文没有成功跑起来，没有成功跑起来，没有成功跑起来
部署环境
操作系统：centos7.9
显卡：Tesla T4 * 2
`
模型下载
git中文社区：https://github.com/FlagAlpha/Llama2-Chinese
huggingface模型：https://huggingface.co/FlagAlpha/Atom-7B-Chat
由于需要往服务器上上传，并且服务器带宽不足，这个过程真是相当痛苦了，把从huggingface模型文件夹下的文件全部下载再上传到服务器
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
