weixin_45064121的博客

原创 阿里云dsw服务器部署Langchain-Chatchat

报错的原因是无法在线下载模型，解决方法是把刚才下载的模型所在路径配置到配置文件中，从本地加载模型。该项目用的模型为huggingface的chatglm3-6b和bge-large-zh，huggingface地址国内在线无法访问，选择使用魔塔社区的模型库。cuda版本为11.8，pytorch匹配的cuda版本为12.1，可能是镜像有问题，解决方法是卸载pytorch。报错的原因是pytorch版本和cuda版本不匹配，查看pytorch版本和cuda版本。创建完成后，资源准备和启动需要等待一段时间。