ollama遇到的问题

一、ollama 通过api设置了options的参数后，服务重启后会恢复成之前默认吗？

解答：参数有默认值，如果需要改变，则每次使用进行设置想要的参数。注意：num_ctx是无法通过设置options生效的，必须采用以下四的“ 配置最长上下文参数”方式。

二、ollama 设置的options参数可以内置在模型里面吗？

解答：ollama修改模型参数 num_ctx【Linux】_ollama调整模型参数-CSDN博客

三、ollama的open webui 在执行open-webui serve的时候提示:undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.x报错缺失

undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.x报错缺失_version libnvjitlink.so.12 not defined in file lib-CSDN博客

四、ollama创建了长上下文的新模型后，为什么加载的时候是默认cpu加载的？

（一）方法：给Ollama 模型配置最长上下文

由于ollama默认限制上下文的长度是2048，如果我们用ollama作为知识库基准模型，上下文超过2048直接会被阻断，提出内容不会根据上下文来回答。官方提出一个解决方案那就是通过设置num_ctx的大小来设置上下文，但是如果把会话改成ollama支持的openAI的方式这个属性就无效了。所以要通过修改配置文件来实现，然后生成新的模型，用ollama加载新模型。

        1.获取配置文件

ollama show --modelfile qwen2.5:14b > qwen2.5_14b_Modelfile

        2.编辑配置文件

vim qwen2.5_14b_Modelfile

        3. 添加上下文长度参数  PARAMETER num_ctx 32768        

        4.  重新生成新的模型，模型名称可以自己起名

ollama create -f  qwen2.5_14b_Modelfile 新模型名称

        5.显示新模型的参数

ollama show 新模型名称

（二）尝试：

        1.在新的linux服务器上安装ollama，下载模型，修改配置文件参数及生成新的模型后都是可以正常使用GPU加载的。

        2.同样的，在windows系统上部署ollama，修改配置文件参数及及生成新的模型，也是可以GPU加载的。

 原因：导致修改配置文件生成新模型后，运行的时候使用cpu加载的原因应该在于配置文件中设置的参数位置不正确，导致新生成的模型无法识别到GPU或者无法使用GPU正常运行，所以采用CPU运行。

如下图是可以正常使用GPU运行的位置，如果配置参数写在了顶部FROM之前不行，写在了FORM下一行也不行。