1. 参考博客:
1. 只要8G显卡!本地运行最强Llama 3.1大模型!:https://zhuanlan.zhihu.com/p/711409433
2. 只要8G显卡!本地运行最强Llama 3.1大模型!:https://xueshu.fun/4999/
3. 使用Ollama实现本地部署大模型: https://openatomworkshop.csdn.net/6645adbeb12a9d168eb6c7d4.html
4. Llama3 – 8B/70B 大模型!相关的工具和模型下载:https://blog.csdn.net/u010066597/article/details/138481313
5. AI初识--LLM、ollama、llama都是些个啥?:https://blog.csdn.net/weixin_66196770/article/details/139536570
6. Llama3.1 8B模型下载地址:https://huggingface.co/shenzhi-wang/Llama3.1-8B-Chinese-Chat
7. 【LLM中不同GGUF格式存储和表示模型参数的用途和硬件要求】:https://blog.csdn.net/Darlingqiang/article/details/140083695
8. ollama 安装第三方平台模型( GGUF篇 ):https://www.douyin.com/note/7371357396461030683
9. 从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务:https://zhuanlan.zhihu.com/p/711416048
2. ollama 安装方式:
1. docker 安装:
1. 拉取 ollama 镜像:
方式1. docker pull ollama/ollama:0.3.3 // 使用 CPU 或者 Nvidia GPU 来推理模型
方式2. docker pull ollama/ollama:rocm: // 使用 AMD GPU 来推理模型
2. 启动 ollama 实例:
方式1:docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.3.3 // 默认 CPU 模式运行
方式2:docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.3.3 // Nvidia GPU 模式运行
方式3:docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm // AMD 显卡运行
2. .exe 方式安装:从 https://ollama.com/download/windows 下载 OllamaSetup.exe,然后傻瓜式一路 next 安装
3. 安装 ollama 客户端:
参考博客:https://blog.csdn.net/qq_29519041/article/details/138614278( Docker下Open WebUI,Ollama的安装实践 )
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
4. ollama 模型下载网站:
4.1. Hugging Face:https://huggingface.co/
5. ollama 常用命令:
ollama 简介:Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。ollama 命令使用起来和 docker 很像。
1. ollama pull qwen:0.5b-chat // 使用 ollama 下载 “通义千问” 的 qwen:0.5b-chat 模型
2. ollama run qwen:0.5b-chat // 使用 ollama 运行 “通义千问” 的 qwen:0.5b-chat 模型( 成功以后就可以输入问题聊天了 )
3. ollama --version // 查看 ollama 版本号
4. ollama list // 查询模型列表
6. ollama 导入离线下载的 gguf 模型:
1. 下载 xxx.gguf
2. 新建 config.txt,内容如下:
FROM "./xxx.gguf"
TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """"""
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
3. ollama create xxx -f ./config.txt
4. ollama list 会发现能列出 xxx了
5. ollama run xxx 然后开始对话
6. ollama rm xxx 移除模型