win10安装ollama部署本地模型

win10安装ollama部署本地模型

安装下载模型

1. 下载ollama
   https://ollama.com/download
2. 安装运行后右下角有ollama图标，然后打开win10的PowerShell，执行ollama测试是否安装，正常安装会显示ollama的指令说明。
3. 打开https://ollama.com/library
   找到你想用的模型直接运行命令ollama run [模型名]类似docker会自动下载并运行。
   例如 ollama run llama2-chinese 这个是网友中文微调过的
   下载运行后可直接shell里对话，按ctrl+d退出对话，但是服务并未停止，右下角图标推出,再打开ollama快捷图标会自动加载运行刚才的模型；
   所以当你多个模型时可通过环境变量OLLAMA_MODELS设定具体模型目录决定默认模型；

修改默认下载路径

默认下载模型路径C:\Users<username>.ollama\models
修改win的系统环境变量，添加OLLAMA_MODELS值为你自定义的目录

第三方客户端

默认本机服务地址http://localhost:11434 可以在安装 Ollama 的系统中直接调用。如果要在网络中其它终端调用，修改API 的侦听地址和端口，修改环境变量要重启ollama。

1. 以管理员权限打开系统环境变量
   C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables
   如果你系统本身是管理员可忽略这条cmd命令。
2. 添加环境变量，变量名OLLAMA_HOST，值0.0.0.0:8080；端口可自定义，如果只填:8080会侦听所有的IPV4\V6的8080端口
3. 如果要在web客户端使用因为浏览器安全限制，还要添加OLLAMA_ORIGINS变量，值为*

导入自定义模型

支持在 Modelfile 中导入 GGUF 模型
GGUF下载网站

1. 创建一个后缀名为 Modelfile 的文件，名字随意，如zdy.Modelfile；内容写入使用 FROM 指令指定要导入的模型的本地文件路径
   例如：FROM e:\down\vicuna-33b.Q4_0.gguf
2. 导入创建模型;example是导入模型的名称随意；-f意思指定Molelfile文件；填入Modelfile文件路径；
   ollama create example -f d:\zdy.Modelfile
   导入过程有点慢，提示transferring model data代表正在导入。导入成功后提示如下

using existing layer sha256:aeec5c76f5d914ffc5b93cf7197b914be97c1580592a6eb368dc36c8c0c12f28
creating new layer sha256:548da157cbc544bbccc16f240679d2471d4386214645e86dc004a9be98e1f708
writing manifest
success

4. 运行模型ollama run example

还可自定义模型角色

1. 创建Modelfile文件

FROM llama2

# 设置温度为 1 [值越高越有创造性，值越低越连贯]
PARAMETER temperature 1

# 设置系统消息
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

2. 运行模型

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

更多示例，请参考examples目录。有关使用 Modelfile 的更多信息，请参考Modelfile文档

常用指令

查看 Ollama 版本

ollama -v

查看已安装的模型

ollama list

删除指定模型

ollama rm [modelname]

注意

1. 运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存
2. 常见问题：https://zhuanlan.zhihu.com/p/696952685
3. win版本会自动识别显卡用GPU加速

详细使用：https://blog.csdn.net/wjjc1017/article/details/137734467