【编程日常】window下玩llama遇到的问题

window下玩llama遇到的问题

1. 安装llama客户端
   首先，从官网下载 llama，安装 Ollama 客户端
   下载地址：https://ollama.com/download/windows
   下载完成之后点击安装；
2. 下载模型文件
   打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助
   
   在命令行中输入如下命令，即可在线拉取模型。

ollama run llama3.1:8b
如果您的显卡非常好，其他两个模型的拉取命令如下 ：
ollama run llama3.1:70b
ollama run llama3.1:405b

更多模型支持

当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档：模型库

手动导入模型

如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。
详细参考导入模型，这里不做赘述。

模型下载好之后，就可以进行对话了。

3. 配置远程访问

Ollama 启动的默认地址为http://127.0.0.1:11434，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。

需要了解如下三个变量的用途

变量名	值	说明
OLLAMA_HOST	0.0.0.0:8888	用于配置监听的 IP 和端口
OLLAMA_ORIGINS	*	支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”
OLLAMA_MODELS	C:\Users\Administrator.ollama	模型文件较大，建议调整到数据盘目录下。

3.1 API 调用

curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d "{\"model\":\"llama3.1:8b\",\"prompt\":\"You are a professional, authentic translation engine. You only return the translated text, without any explanations.\"}"





Invoke-WebRequest http://localhost:11434/api/generate -Method POST -Body '{ "model": "llama3.1:8b" , "prompt": "Why is the sky blue?"}'

Invoke-WebRequest http://localhost:11434/api/generate -Method POST -Body '{ "model": "llama3.1:8b" , "prompt": "Why is the sky blue?", "options": { "num_ctx": 4096 } }'

reference

@article{xn–bxy.xn–wxt.xn–5kv.xn–230a.xn–9kq.2024Aug,
author = {xn–bxy. xn–wxt. xn–5kv. xn–230a. xn–9kq.},
title = {{xn–OllamaLlama-vd2r931f1e5cd33bmo8aeb3d 3.xn–1-mn0b92cy20b}},
journal = {SegmentFault xn–3qr51z},
year = {2024},
month = aug,
publisher = {SegmentFault},
url = {https://segmentfault.com/a/1190000045123889}
}