现象: 运行qwen2:7b模型, 无论输入是什么, 输出都是无意义的GG。
解决方法:
方法1: 升级Ollama 至v0.1.42
方法2: 设置环境变量OLLAMA_FLASH_ATTENTION=True, 然后重启ollama
参考:
https://github.com/QwenLM/Qwen2/issues/485
现象: 运行qwen2:7b模型, 无论输入是什么, 输出都是无意义的GG。
解决方法:
方法1: 升级Ollama 至v0.1.42
方法2: 设置环境变量OLLAMA_FLASH_ATTENTION=True, 然后重启ollama
参考:
https://github.com/QwenLM/Qwen2/issues/485