Ollama的一些配置是通过环境变量控制的,那么无论是什么操作系统,都可以通过配置系统的环境变量或者通过设置临时的环境变量达到想要的结果,一些常用的环境变量如下:
- OLLAMA_HOST:用来绑定OLLAMA的访问的IP和端口,这个其实很重要,用一些 Langchain、LLamaIndex等调用Ollama部署的模型的时候,都是通过这个配置的内容访问的。默认值“127.0.0.1:11434”,如果我们配置成“0.0.0.0:11434”,就可以让你局域网内的其他主机可以访问,但是要配合下面的环境变量一起使用。
- OLLAMA_ORIGINS:这个是跨域源列表,说白了就是允许谁来访问,双引号中用英文都好分割。默认进本地可以访问,如果想让局域网内都可以访问,最好设置成“*”。
- OLLAMA_MODELS:本地模型文件存储的位置,这个就按自己实际的模型位置设置,默认是存在当前用户目录下的
.ollama/models
或者/usr/share/ollama/.ollama/models
。 - OLLAMA_KEEP_ALIVE:模型在现存中保持加载的持续时长,这个默认“5m”,按需加载或者释放显卡显存可以降低显卡的压力,但是会带来磁盘IO的增加。
- OLLAMA_DEBUG:调试日志,默认是关闭的。如果设置成1&