windows 本地安装 Llama3.1 记录

1. 参考博客：
    1. 只要8G显卡！本地运行最强Llama 3.1大模型！：https://zhuanlan.zhihu.com/p/711409433                                    
    2. 只要8G显卡！本地运行最强Llama 3.1大模型！：https://xueshu.fun/4999/                                                  
    3. 使用Ollama实现本地部署大模型：               https://openatomworkshop.csdn.net/6645adbeb12a9d168eb6c7d4.html         
    4. Llama3 – 8B/70B 大模型！相关的工具和模型下载：https://blog.csdn.net/u010066597/article/details/138481313                
    5. AI初识--LLM、ollama、llama都是些个啥？：https://blog.csdn.net/weixin_66196770/article/details/139536570                 
    6. Llama3.1 8B模型下载地址：https://huggingface.co/shenzhi-wang/Llama3.1-8B-Chinese-Chat
    7. 【LLM中不同GGUF格式存储和表示模型参数的用途和硬件要求】：https://blog.csdn.net/Darlingqiang/article/details/140083695    
    8. ollama 安装第三方平台模型( GGUF篇 )：https://www.douyin.com/note/7371357396461030683                                        
    9. 从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务：https://zhuanlan.zhihu.com/p/711416048


2. ollama 安装方式：
    1. docker 安装：
        1. 拉取 ollama 镜像：            

        方式1. docker pull ollama/ollama:0.3.3        // 使用 CPU 或者 Nvidia GPU 来推理模型
        方式2. docker pull ollama/ollama:rocm:        // 使用 AMD GPU 来推理模型

        2. 启动 ollama 实例：            

         方式1：docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.3.3                                                // 默认 CPU 模式运行
         方式2：docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.3.3                                     // Nvidia GPU 模式运行
         方式3：docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm             // AMD 显卡运行

    2. .exe 方式安装：从 https://ollama.com/download/windows  下载 OllamaSetup.exe，然后傻瓜式一路 next 安装

3. 安装 ollama 客户端：
    参考博客：https://blog.csdn.net/qq_29519041/article/details/138614278( Docker下Open WebUI，Ollama的安装实践 )    

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

4. ollama 模型下载网站：
    4.1. Hugging Face：https://huggingface.co/


5. ollama 常用命令：
    ollama 简介：Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。ollama 命令使用起来和 docker 很像。    

    1. ollama pull qwen:0.5b-chat     // 使用 ollama 下载 “通义千问” 的 qwen:0.5b-chat 模型
    2. ollama run qwen:0.5b-chat      // 使用 ollama 运行 “通义千问” 的 qwen:0.5b-chat 模型( 成功以后就可以输入问题聊天了 )
    3. ollama --version               // 查看 ollama 版本号
    4. ollama list                    // 查询模型列表

6. ollama 导入离线下载的 gguf 模型：
    1. 下载 xxx.gguf
    2. 新建 config.txt，内容如下：      

FROM "./xxx.gguf"

TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

    3. ollama create xxx -f ./config.txt
    4. ollama  list 会发现能列出 xxx了
    5. ollama run xxx 然后开始对话
    6. ollama rm xxx  移除模型