还是在本地玩大模型吧!Docker+Ollama+Dify,超详细保姆教程构建DeepSeek模型WIN10本地服务,CPU也能玩的大模型教程!

 1、前言

最近一直在研究大模型的部署,本地服务器、云服务器、PAI一键部署服务都统统试了一遍,各有各的不足。本地服务器资源比较紧张、云服务器收费高、PAI一键部署容易上手但功能阉割严重。

随着越来越多的用户开始使用 Olama 来探索模型应用,加之开源端部模型的出现,直接在自己电脑上部署大模型绝对是快速上手体验的不二之选。

本文基于windows10在本地电脑上部署使用Dify,其中必要用到的Ollama大模型管理框架,使用的大模型为deepseek-r1-1.5b。

2、Ollama

2.1、Ollama是什么

Ollama 是一个开源框架,专注于简化在本地运行大型语言模型(LLM)的流程。

作为一个轻量级且可扩展的工具,Ollama 提供了一个简洁的API,用于创建、运行和管理模型,并附带一个预构建的模型库,进一步降低了使用的难度。它不仅适用于自然语言处理的研究和产品开发,还特别适合初学者和非技术人员,尤其是那些希望在本地与大型语言模型进行交互的用户。

这款开源工具凭借其强大的功能,让用户能够在本地轻松运行多种大型开源模型,例如清华大学的 ChatGLM、阿里的千问以及 Meta 的 LLaMA 等。

总体而言,Ollama 是一个高效且功能完备的大模型服务工具。通过简单的安装指令和一条命令,用户即可在本地快速启动大型语言模型,极大地推动了其在更广泛场景中的发展和应用。

2.2、安装Ollama

官方下载地址:https://ollama.com/download

win10直接下载exe文件双击安装,安装完ollama之后,可以通过访问如下链接来判断ollama是否安装成功

http://127.0.0.1:11434/

2.3、使用Ollama运行本地大模型

安装完ollama之后,可以通过在命令行执行如下命令运行大模型

ollama run [model name]

其中[model name]就是想要运行的本地大模型的名称,如果还不知道应该选择哪个模型,可以通过model library进行查看。

这里我们选择deepseek最新发布的大模型:deepseek-r1

考虑到本地机器的配置以及不同版本的内存要求,我这里选择1.5b参数的模型进行尝鲜

我电脑的配置为:<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程专用小马甲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值