Ollama+Llama+Docker+WebUI Windows10部署指南

已于 2024-05-14 09:37:50 修改
阅读量1.8k 收藏 23
点赞数 16
文章标签： docker 容器 AIGC ai nlp
于 2024-05-13 17:59:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50482233/article/details/138808435
版权

目录

1.Ollama server

 1.下载

 2.环境配置

        1.host

        2.跨域

        3.模型存储路径

 3. 启动Ollama

 4.模型下载

 5.Ollama连接检测

2.Docker配置

 1.本地环境配置

2.下载Docker desktop

3.Docker源配置

 1.Docker中国官方

2.网易

3.中国科学技术大学

4.环境检验 

3.WebUI

1.本地Ollama

2.服务器Ollama：

       1.运行支持Nvidia GPU 的 Open WebUI

3.界面

4.应用配置

5.模型运行情况

6.本地环境

1.Ollama server

 1.下载

下载路径：Download Ollama on Windows

下载好后，直接打开安装包

 2.环境配置

        1.host

        2.跨域

        3.模型存储路径

        解决存储空间不够的问题

如果修改后没有变化，记得修改用户变量（系统变量都可以试试，哈哈）。 

 3. 启动Ollama

直接搜索，可以找到ollama，点击打开，服务后台启动着。

点击后可以在任务管理器看到，服务已经打开了。

也可以在cmd中检查是否安装成功

ollama -v

 4.模型下载

执行该命令，下载并运行模型

ollama run [modelname]

 5.Ollama连接检测

直接在网页中输入http://ip+已经在环境变量中设置好的端口，证明可以连接。

2.Docker配置

 1.本地环境配置

先打开控制面板，找到程序打开后，点击“启动或关闭Windows功能”

勾选这三个

2.下载Docker desktop

下载地址：Install Docker Desktop on Windows | Docker Docs

打开安装包

都选，直接点击OK

之后打开Docker desktop，点击accept。

如果打开后，出现WSL 2 installation is incomplete的问题，可以直接点击下方链接

https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

原文：安装Docker Desktop报错WSL 2 installation is incomplete.-CSDN博客 

3.Docker源配置

点击setting

环境源填写在"registry-mirrors"中

 1.Docker中国官方

https://registry.docker-cn.com

2.网易

http://hub-mirror.c.163.com

3.中国科学技术大学

https://docker.mirrors.ustc.edu.cn

4.环境检验 

docker version

3.WebUI

详细可查看该地址🏡 首页 |打开 WebUI (openwebui.com)

1.本地Ollama

在终端中执行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.服务器Ollama：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

       1.运行支持Nvidia GPU 的 Open WebUI

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3.界面

 安装好后，可以在docker中找到相应的容器，点击这个组件，就可以打开webui界面。

4.应用配置

点击右上角的setting

在这里输入Ollama的模型链接地址,即:http://ip+端口

在这里选择本地下载好的模型

这样就可以开始聊天了

5.模型运行情况

Windows中是一张4090（24G显存）+内存（48G），运行不起来llama3:70b,预估需要内存64G以上。

6.本地环境

Windows10

Docker:20.10.8

Ollama:0.1.37

hf_hs_1
关注
  • 16
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Ollama局域网内访问
Criss@陈磊
04-29 1274
我们平时面对的场景中，服务器往往并不能链接互联网，因此我们就不能用上面介绍的Ollama的命令一样，运行命令直接获从Ollama中央仓库下载一个模型，Ollama为我们提供了一个导入模型的办法。那么如果有些模型没有量化的模型的话，就需要自己动手了，这个主要是借助llama.cpp完成的，具体操作就不做详细说明了，需要的时候，在网上学习吧。选择我的电脑点击右键，选择属性后点击高级系统设置就可以看到环境变量的按钮了，点击进入后可以看到有上下两部分，上面是用户变量，下面是系统变量。重新载入配置，再通过。
Docker一键快速私有化部署(Ollama+Openwebui) +AI大模型（gemma，llama2，qwen）20240417更新
asdfaa的博客
04-17 3044
将${inner_ip}替换成你本机IP（用hostname -I可查看）几行命令教你私有化部署自己的AI大模型，每个人都可以有自己的GTP。(ollama run gemma)安装谷歌gemma大模型。(ollama run qwen)安装阿里的qwen大模型。(ollama run llama2)安装Meta。第四步，正在启动WEBUI界面，大约5分钟后，第三步：使用Docker部署webUI页面。正常就可以打开访问属于你自己的大模型了。可以通过下面的命令查看日志。
【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，没有连接互联网一样可以使用AI大模型！！！
weixin_45131680的博客
05-07 3272
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题，发现该模型给了很好的回复。
安装ollama并部署大模型并测试
weixin_43589681的博客
05-23 491
官网地址：Ollama 是一个基于 Go 语言开发的简单易用的。可以将其类比为（同基于 cobra (opens new window)包实现命令行交互中的 list,pull,push,run 等命令），事实上它也的确制定了类 docker 的一种模型应用标准，在后边的内容中，你能更加真切体会到这一点。在管理模型的同时，它还基于 Go 语言中的 Web 框架 gin (opens new window)提供了一些接口，让你能够像跟 OpenAI 提供的接口那样进行交互。
ollama 在Windows上的部署与使用（实用）
最新发布
ianstore的博客
06-07 1338
这个框架提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。Ollama的主要特点包括简化部署、丰富的模型库、跨平台支持以及灵活的自定义选项。在OLLAMA中，您可以从提供的模型库中下载所需的模型，例如Llama 3、Llama 3 70B等。这些模型的大小和参数量各不相同，因此需要的存储空间和计算资源也不同。如果模型文件较大，可能会导致存储空间不足。，即可完成模型位置的迁移，再次加载或拉取模型文件时生效。
Ollama入门（windows版本）
qq_40600379的博客
03-25 3275
通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，如gemma。
ollama Windows部署
m0_57486465的博客
04-15 1823
本文介绍了如何在Windows上部署Ollama，包括下载安装、环境配置和测试步骤。通过配置环境变量和测试网络连接，可以成功搭建本地大模型服务，实现快速部署和测试模型功能。
本地部署大模型记录
龙井茶的Sky
03-18 1252
ollama主要简化了部署大模型的复杂度github地址：ollama/ollama：启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。github上可以看ollama相关介绍，包括如何使用vllm主要作用其实是可以提高推理性能，但是必须在linux下运行，而且必须有GPU官网地址vllm官网 Welcome to vLLM!— vLLM。
Ollama 可以在 Windows 上运行了
热门推荐
engchina的专栏
02-16 1万+
Ollama 可以在 Windows 上运行了
笔记本+window+cpu本地十分钟部署大模型
weixin_75191018的博客
03-11 2711
演示环境:华为笔记本window 提前准备魔法如果想要更好的学习入门大模型相关,成为一个魔法师是很重要的不过多解释docker,简单解释一下教程中docker安装目的: docker desktop软件官网:https://www.docker.com/products/docker-desktop/下载后直接下一步无脑安装,确保桌面出现docker图标 针对个人可以免费使用,进入程序,直接注册登陆即可 确保进入当前页面win+R 进入命令行 输入如下口令 出现上述图片,证明docker安装成功,完成一大半
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA ...本教程提供了一个完整的指南，指导开发人员如何在本地部署开源的大型语言模型，并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。
Docker下部署LLAMA 2
08-09
本指南主要介绍如何在docker下部署LLAMA 2，附带命令代码和docker文件的编辑代码
vulkan+llama in windows
02-27
Vulkan和LLAMA在Windows平台上的整合应用是一个高级的图形编程和系统优化的话题。Vulkan是一种现代、低级的图形和计算API（应用程序接口），由Khronos Group开发，旨在提供高效、多线程的图形处理能力，适用于游戏、...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
LY_LM的博客
05-09 2436
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
Python - 深度学习系列31 - ollama的搭建与使用
yukai08008的博客
03-31 2867
做这个的主要目的是为了搭建Langchain的本地环境，使用LangChain让LLM具备调用自定义函数的功能。
在 Windows 上使用 Ollama 配置本地及外网访问
weixin_49938804的博客
04-29 8097
ollama Windows 安装配置，外网范围
本地部署大模型ollama+docker+open WebUI/Lobe Chat
shall_zhao的博客
05-04 2622
本篇基于windows环境下配置。
LLaMA+Alpaca怎么搭建部署训练
05-17
LLaMA+Alpaca是一个基于PyTorch的自然语言处理框架，主要用于生成式对话模型的训练和部署。以下是搭建、部署、训练LLaMA+Alpaca的步骤： 1. 安装依赖项：在安装LLaMA+Alpaca之前需要安装以下依赖项： - Python 3.7或更高版本 - PyTorch 1.7或更高版本 - Transformers 4.0或更高版本 - Flask 2. 下载代码：可以从LLaMA+Alpaca的GitHub页面上下载代码，也可以使用以下命令从GitHub上克隆代码： ``` git clone https://github.com/microsoft/LLaMA.git ``` 3. 部署：可以使用以下命令启动LLaMA+Alpaca的部署： ``` cd LLaMA/deployment python app.py ``` 这将会在本地启动一个Flask服务器并提供对话API。 4. 训练模型：可以使用以下命令在LLaMA+Alpaca上训练对话模型： ``` python train.py \ --dataset_path <path-to-dataset> \ --tokenizer_name <tokenizer-name> \ --model_name_or_path <model-name-or-path> \ --output_dir <output-dir> \ --num_train_epochs <num-epochs> \ --per_device_train_batch_size <batch-size> \ --gradient_accumulation_steps <accumulation-steps> \ --learning_rate <learning-rate> ``` 其中，\<path-to-dataset>是对话数据集的路径，\<tokenizer-name>和\<model-name-or-path>分别是使用的tokenizer和模型名称或路径，\<output-dir>是输出路径，\<num-epochs>是训练的epoch数，\<batch-size>是每个GPU上的批量大小，\<accumulation-steps>是梯度累积步骤数，\<learning-rate>是学习率。 5. 部署新模型：可以使用以下命令将新训练的模型部署到Flask服务器上： ``` python update_model.py \ --model_path <path-to-model> \ --tokenizer_name <tokenizer-name> \ --model_name <model-name> ``` 其中，\<path-to-model>是新训练的模型路径，\<tokenizer-name>是使用的tokenizer名称，\<model-name>是新模型名称。 以上就是搭建、部署、训练LLaMA+Alpaca的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值