1、前言
最近一直在研究大模型的部署,本地服务器、云服务器、PAI一键部署服务都统统试了一遍,各有各的不足。本地服务器资源比较紧张、云服务器收费高、PAI一键部署容易上手但功能阉割严重。
随着越来越多的用户开始使用 Olama 来探索模型应用,加之开源端部模型的出现,直接在自己电脑上部署大模型绝对是快速上手体验的不二之选。
本文基于windows10在本地电脑上部署使用Dify,其中必要用到的Ollama大模型管理框架,使用的大模型为deepseek-r1-1.5b。
2、Ollama
2.1、Ollama是什么
Ollama 是一个开源框架,专注于简化在本地运行大型语言模型(LLM)的流程。
作为一个轻量级且可扩展的工具,Ollama 提供了一个简洁的API,用于创建、运行和管理模型,并附带一个预构建的模型库,进一步降低了使用的难度。它不仅适用于自然语言处理的研究和产品开发,还特别适合初学者和非技术人员,尤其是那些希望在本地与大型语言模型进行交互的用户。
这款开源工具凭借其强大的功能,让用户能够在本地轻松运行多种大型开源模型,例如清华大学的 ChatGLM、阿里的千问以及 Meta 的 LLaMA 等。
总体而言,Ollama 是一个高效且功能完备的大模型服务工具。通过简单的安装指令和一条命令,用户即可在本地快速启动大型语言模型,极大地推动了其在更广泛场景中的发展和应用。
2.2、安装Ollama
官方下载地址:https://ollama.com/download
win10直接下载exe文件双击安装,安装完ollama之后,可以通过访问如下链接来判断ollama是否安装成功
http://127.0.0.1:11434/
2.3、使用Ollama运行本地大模型
安装完ollama之后,可以通过在命令行执行如下命令运行大模型
ollama run [model name]
其中[model name]就是想要运行的本地大模型的名称,如果还不知道应该选择哪个模型,可以通过model library进行查看。
这里我们选择deepseek最新发布的大模型:deepseek-r1
考虑到本地机器的配置以及不同版本的内存要求,我这里选择1.5b参数的模型进行尝鲜
我电脑的配置为:<