继续上一篇文章
https://blog.csdn.net/wangnannan230521/article/details/141859975
先贴出安装后的遇到的问题
1:模型运行后无法访问 参考这几个步骤进行解决
这里有个问题 下次在启动的时候 一定要先启动虚拟环境不然的话就会像这张图这样子
模型启动后 报内存错误 加载到cpu很大问题都是显存不足造成的
优化代码
# 计算可用 GPU 内存的 80%
total_memory = torch.cuda.get_device_properties(0).total_memory
available_memory = str(int(total_memory * 0.8 / 1024 / 1024)) + "MiB"
logger.info(f"Setting max memory to {available_memory}")
# 使用 8