今日进展：在一台4090（24GB）的服务器上部署了DeepSeek 7b模型并进行试验，预计后期任务暂为开启外部访问API接口和进行微调。
注意事项：
ollama服务需要sodo权限
关闭大模型后不会立刻释放显存，ollama需要五分钟后自动释放显存（期间这个进程杀不掉，也不知道是为什么......）
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
