折腾了几天llama2的部署,由于我本地ubuntu的cuda版本原因,折腾了很久,现在已经将整个过程熟悉了,部署效果如下: 我已经将模型打包进docker里,只要直接下载就能在本地运行起来,需要的可以加微信: