本地配置:512G内存(DDR4 3200MHz)+4090(24G),Ubuntu系统(Linux)
deepseek-r1:671B(Q4),官方推荐大小404G。初始输出约2tokens/s。
使用ollama控制台问答时,问题+回答总计约2500字时会发生内存不足报错(Error: an error was encountered while running the model: unexpected EOF),但是实际内存占用尚有几十G余量。
重复问答多次总会发生,有没有大佬遇到类似情况?是参数配置问题还是内存不够?图中是让deepseek玩输出数字游戏,以判断多长字符发生报错。