LM Studio本地部署DeepSeek初体验

DeepSeek本地部署初体验记录



前言

最近,DeepSeek在AI圈已经杀疯了,正好最近有时间可以学习了解一下。参考了网络上一些资料,学习了本地部署DeepSeek。网络上的资料大致分为使用Olama或者LM Studio的方式,我这里使用了LMStudio进行部署。


一、LM Studio 安装

LM Studio是一个用于安装和管理大模型的工具,在界面显示方面相对于Olama更为优秀。
LM Studio官网:https://lmstudio.ai/
在官网选择合适的版本下载即可。
在这里插入图片描述
下载完成后直接打开安装即可。

二、模型下载

下载模型的时候可以通过在LM Studio的Discover中下载,也可通过在网站上下载模型后导入。根据自身电脑配置选择合适的模型下载,越大的模型需要的配置要求越高。在这里我选择了部署DeepSeek R1 7b。

方式一. LM Studio模型下载

直接打开LM Studio的Discover页面,选择响应模型下载即可。
在这里插入图片描述但这个过程中可能因为一些特殊原因出现无法搜索到模型的情况,这里参考了以下链接进行解决,即更换镜像源。
链接: link
更换镜像源后便可以搜索并下载模型了。(但我在下载模型的时候经常会出现超时错误,这个问题并未解决,欢迎各位大佬指正。)
在这里插入图片描述

方式二. 离线模型下载

离线的方式时通过在网站上下载相应的模型,然后将模型文件移动到LM Studio管理的文件下即可。当然也可也通过LM Studio选择文件。
模型下载链接:link
在这里插入图片描述

三、模型加载

我是通过下载模型后再移动到LM Studio管理的文件,在这个过程中还有一个小坑,选择的文件路径是…\models,但实际上模型文件需要放在…\models\Publisher\Repository目录下LM Studio才会自动识别模型。
在这里插入图片描述
然后在对话栏中选择模型加载即可。
在这里插入图片描述
DeepSeek初体验:
在这里插入图片描述


### 如何在本地环境中使用LM Studio部署DeepSeek #### 准备工作 为了成功部署DeepSeek,在开始之前需确保已准备好必要的软件环境和硬件资源。这通常包括安装Python解释器以及配置虚拟环境,以便更好地管理依赖项[^2]。 #### 安装LM Studio LM Studio是一个用于简化大型语言模型训练、微调和服务化的工具集。要利用此平台部署DeepSeek,首先需要下载并安装最新版本的LM Studio应用程序。按照官方文档中的指导完成安装过程可以确保获得最佳体验和支持[^1]。 #### 配置DeepSeek模型 一旦LM Studio设置完毕,则转向准备DeepSeek的具体参数文件与预训练权重。这些资料可能来自开源社区或是通过合法渠道获取的企业内部资产。加载指定路径下的checkpoint能够加速后续推理速度,并减少不必要的计算开销。 #### 启动服务端口 借助于LM Studio内置的服务发布功能,可以选择HTTP RESTful API或gRPC作为对外接口形式之一。对于希望快速集成现有系统的开发者来说,RESTful风格往往更加直观易懂;而追求高性能通信场景下,gRPC则提供了更优的选择。 ```bash lmstudio serve --model_path=/path/to/deepseek --port=8080 ``` 上述命令展示了启动一个监听于8080端口上的DeepSeek实例的方式,其中`/path/to/deepseek`应替换为实际存储位置。 #### 测试API请求 最后一步就是验证整个流程是否正常运作了。可以通过编写简单的客户端脚本发送测试性的查询给新搭建好的服务器,观察返回的结果是否符合预期。如果一切顺利的话,恭喜您已经完成了DeepSeek的大致部署
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值