本文介绍了在Windows10/11系统中如何利用ollama快速部署llama3:8b和gemma:7b大模型，以及使用docker安装open/ollama-webui进行Web界面交互。首先，通过ollama的Windows版本安装大模型，然后启用Hyper-V和WSL2，安装Docker Desktop。在遇到Docker虚拟磁盘空间不足的问题时，选择将ollama运行在本地，仅在docker中运行webUI。最后，详细说明了docker的安装和open/ollama-webui的部署步骤。
前言
整体是希望在windows下安装llama3:8b 以及 gemma:7b两个大模型，并使用open/ollama-webui来访问
从目标出发，llama3和gemma都属于开源大模型，可以自行编译，但是那个步骤对于初步探索的人来说要求太高了，暂时不考虑这条路。因此以先用起来的目的作为导向，强烈推荐直接使用官方推荐的ollama来直接安装。
open/ollama-webui，现在叫open-webui，之前叫ollama-webui，都一样，不是很重要，同样可以自行编译，和上面一样，自行编译很麻烦，官方提供了直接在docker内的快速安装方法。
总结来说：
- 通过ollama来快速安装llama3:8b以及gemma:7b两个大模型，ollama直接支持windows版本的安装程序
- 通过docker快速安装open/ollama-webui，docker官方也提供了windows版本安装程序
下载链接：【可能需要科学上网】
最低0.47元/天 解锁文章
扫一扫
2029
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
