关于Ollama加载AI模型的补充

Ollama通过gguf文件加载AI模型-CSDN博客

上一篇文章介绍了Ollama如何通过gguf文件加载AI模型，下面是一些补充的内容。

#6 对话时的设置

问答窗口是这样的：（标题改过，只要在cmd中使用title 标题名就能改）

使用/set parameter设置参数，如：（详细信息可以使用/set parameter查看）

/set parameter seed           #设置随机种子
/set parameter num_predict    #设置预测token数
/set parameter num_ctx        #设置回答最大token数
/set parameter temperature    #设置模型温度（回答随机度）
/set parameter repeat_penalty #设置重复回答时的惩罚力度

还可以使用 /clear 来清除对话上下文：

/clear

#7 可以设置的环境变量

环境变量	描述
OLLAMA_MODELS	模型文件存放目录，默认目录为当前用户目录（Windows 目录：C:\Users\%username%\.ollama\models，MacOS 目录：~/.ollama/models，Linux 目录：/usr/share/ollama/.ollama/models），如果是 Windows 系统建议修改（如：D:\OllamaModels），在上一篇文章中提到过
OLLAMA_HOST	Ollama 服务监听的网络地址，默认为127.0.0.1，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），建议设置成0.0.0.0，从而允许其他网络访问
OLLAMA_PORT	Ollama 服务监听的默认端口，默认为11434，如果端口有冲突，可以修改设置成其他端口（如：8080等）
OLLAMA_ORIGINS	HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制
OLLAMA_KEEP_ALIVE	大模型加载到内存中后的存活时间，默认为5m即 5 分钟（如：纯数字如 300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）；我们可设置成24h，即模型在内存中保持 24 小时，提高访问速度
OLLAMA_NUM_PARALLEL	请求处理并发数量，默认为1，即可允许的同时进行回答的数量，可根据实际情况进行调整
OLLAMA_MAX_QUEUE	请求队列长度，默认值为512，可以根据情况设置，超过队列长度请求被抛弃
OLLAMA_DEBUG	输出 Debug 日志标识，应用研发阶段可以设置成1，即输出详细日志信息，便于排查问题
OLLAMA_MAX_LOADED_MODELS	最多同时加载到内存中模型的数量，默认为1，即只能有 1 个模型在内存中

#8 其它Ollama命令

可以在cmd中cd到ollama程序目录，然后输入：

.\ollama.exe help

可以看到帮助内容：

Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

其中：

命令	功能
serve	启动服务以运行AI模型接口
create <modelname> [-f <modelfile>]	创建一个叫 <modelname>的模型 [ ，从 <modelfile>导入 ]
show <modelname>	显示名为 <modelname> 的模型信息
run <modelname>	启动名为 <modelname> 的模型
pull <modelname>	从硬盘（环境变量OLLAMA_MODELS中的文件夹位置）或网络上下载
push <modelname>	保存名为 <modelname> 的模型（不知道是否正确，暂时未搞懂）
list	显示已导入和已下载的模型列表，可以通过此查看模型名称，然后在run <modelname> 中输入模型名称（<modelname>）
ps	显示正在运行中的模型列表
cp <modelname> <movetoModelname>	复制名为<modelname>的模型到名为<movetoModelname>的模型
rm <modelname>	删除名为<modelname>的模型
help	显示帮助内容

---