近一段时间,大模型的热度有增无减,各大厂商纷纷发布了自己的大模型,但这些模型几乎都有个共同的特点,那就是需要联网使用,此时就会有一个疑问,能不能把厂商发布的这些大模型部署到本地自己的计算机上?直到我发现了一个网站,Ollama,它提供了一个工具可以让你在本地运行大模型。下面我将介绍我对于Ollama的使用方法。
第一种:直接下载使用
首先找到Ollama的官网:Ollama
如果你使用的是Win10及更高系统的话可以直接点击这个链接进入下载页面:Download Ollama on Windows
点击下载并安装,安装完成后会出现这个界面
这样就是安装成功了,根据提示输入
ollama run llama3.1
这样就会将大模型部署在本地并运行了
但是用安装包的方法有一个我认为不太好的地方,就是安装包安装的位置默认是在C盘的,而有C盘空间不足恐惧症的我选择了第二种方法
第二种:使用Docker
Docker是一个开源的应用容器引擎,用于打包、发布和运行应用,它能够让开发者以声明式的方式来描述他们的应用环境,而无需依赖具体硬件或操作系统的底层细节。
首先,在自己的计算机上安装docker,具体的安装步骤可以借鉴一下这位博主写的Docker超详细基础教程_docker -v-CSDN博客
不过用docker部署有一个好处就是仅仅输入几句命令即可部署完成整个模型
安装好docker之后,可以用在docker里部署了,用docker的一个好处就是容易管理
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
在cmd里运行上面的命令,docker就会自动帮你创建镜像和容器
当所有进度条都完成时,就可以输入
docker exec -it ollama ollama run llama2
当然,你也可以尝试其他大模型,在ollama大模型库的网站里:library (ollama.com),你可以找到你比较喜爱的厂商的大模型下载并使用了
当运行起来时的样子,是这样的
看着黑底白字的命令行界面,总归是有些单调的,这里还有一个前端可视化工具——open-webui,这个工具可以将你和大模型的对话显示在前端浏览器上,直接打开此网址:open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)
然后运行一句docker命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
运行完成后,打开浏览器并在地址栏输入localhost:3000,然后你就可以看到
这时,点击左面的工作空间,进入工作空间之后你会发现,你的模型列表空空如也,这时候就要去docker中的命令行界面去下载模型了,那么如何下载模型呢?在上文中我们提到了ollama的大模型库的网站library (ollama.com)找到你感兴趣的大模型并点进去,例如我点进llama3.1
那么只需将红框中的命令复制到docker里ollama容器的命令行中即可,默认大小是8b,我的笔记本是11代酷睿i7,16G内存大小运行8b的大模型正合适,运行完命令之后,再次刷新open-webui的页面,你会发现页面中出现了你下载的模型
这时点击模型,即可对话